Qwen3.5-9B на PlayStation 4: Garlic LLM обходится без ПК
Энтузиаст Леонардо Алегрия запустил на PlayStation 4 модель с 9 млрд параметров. Что умеет Garlic LLM и с какой скоростью отвечает.
Энтузиаст Леонардо Алегрия запустил на PlayStation 4 модель Qwen3.5-9B с 9 млрд параметров. Проект называется Garlic LLM и работает полностью в автономном режиме: без Linux на консоли и без внешнего компьютера.
Производительность достигает от 1 до 39 токенов в секунду. Чтобы модель поместилась в память, автору пришлось использовать квантование: размер модели удалось уменьшить до 4,5 ГБ. У приставки всего 8 ГБ универсальной памяти.
В результате PlayStation 4 работает как офлайн-чат-бот с искусственным интеллектом и поддержкой голосового управления.
PlayStation 4 вышла в 2013 году. Qwen это семейство языковых моделей китайской компании Alibaba. Квантование, если простыми словами, хранит числа внутри модели с меньшей точностью: файл занимает меньше места и памяти, а за это приходится платить частью качества.
Источник: iXBT