AI

Qwen3.5-9B на PlayStation 4: Garlic LLM обходится без ПК

Энтузиаст Леонардо Алегрия запустил на PlayStation 4 модель с 9 млрд параметров. Что умеет Garlic LLM и с какой скоростью отвечает.

Энтузиаст Леонардо Алегрия запустил на PlayStation 4 модель Qwen3.5-9B с 9 млрд параметров. Проект называется Garlic LLM и работает полностью в автономном режиме: без Linux на консоли и без внешнего компьютера.

Производительность достигает от 1 до 39 токенов в секунду. Чтобы модель поместилась в память, автору пришлось использовать квантование: размер модели удалось уменьшить до 4,5 ГБ. У приставки всего 8 ГБ универсальной памяти.

В результате PlayStation 4 работает как офлайн-чат-бот с искусственным интеллектом и поддержкой голосового управления.

PlayStation 4 вышла в 2013 году. Qwen это семейство языковых моделей китайской компании Alibaba. Квантование, если простыми словами, хранит числа внутри модели с меньшей точностью: файл занимает меньше места и памяти, а за это приходится платить частью качества.

Источник: iXBT