Модели 290B+ на игровом ПК: движок FreeToken взлетел на GitHub

Открытый движок FreeToken должен запускать на игровом компьютере открытые MoE-модели размером от 290 млрд параметров («290B+») с интерактивной скоростью. Это обещание самих разработчиков из FlashML. Движок бесплатный, лицензия Apache-2.0, написан на Python.

MoE (Mixture-of-Experts) означает, что модель состоит из множества «экспертов», а на каждый токен работает только часть из них. FreeToken строит на этом всю схему: видеокарту, процессор, оперативную память и шины между ними он считает одним пулом ресурсов. Часто нужных экспертов держит в видеопамяти, остальных подгружает по мере надобности, а часть расчётов отдаёт процессору. Для этого в проекте есть адаптивное распределение работы между CPU и GPU, потоковая подгрузка слоёв и общий LRU-кэш экспертов.

Отдельная часть сделана под агентов. Движок сохраняет контрольные точки состояния и KV-кэша, поэтому правки контекста, например вызовы инструментов или блоки рассуждений, не заставляют пересчитывать весь диалог заново. Память видеокарты можно перераспределять между кэшем экспертов и кэшем контекста прямо во время работы, без перезапуска и повторной загрузки весов. Среди поддерживаемых моделей разработчики называют DeepSeek-V4-Flash.

Проект создан 20 июля 2026 года. За 106 дней он набрал 16,4 тыс. звёзд и 1605 форков, а сегодня попал в дневной тренд GitHub. Последнее обновление вышло 3 ноября.

Местные движки для больших языковых моделей не новость: llama.cpp, один из самых известных, существует с марта 2023 года и умеет запускать модели на обычных компьютерах. FreeToken, судя по описанию, заточен под одну архитектуру, MoE, и под ограничения домашнего железа. За проектом стоит FlashML (сайт flashml.ai), у него есть научная статья и сообщества в Slack, Discord и WeChat. Интерес к локальным MoE-моделям понятен: у DeepSeek-V3, вышедшей в декабре 2024 года, было 671 млрд параметров, но на каждый токен активны только 37 млрд.