Большие ИИ-модели без видеокарты: colibri читает экспертов с диска

Открытый движок colibri запускает MoE-модели на сотни миллиардов параметров на обычном компьютере без видеокарты. В оперативной памяти он держит только нужную часть модели, а «экспертов» подгружает с диска, когда модель к ним обращается. В примере из README чат идёт на GLM-5.2, 744 млрд параметров, в квантовании int4, на одном процессоре, и готов к работе за 32 секунды.

Проект написан на чистом C, без зависимостей, по одному файлу на семейство моделей. Сейчас работают тринадцать движков. Десять из них для языковых моделей: семейства GLM (в том числе Mistral-Large-4 на том же движке), Kimi K3, DeepSeek V4 и V4.1 Flash, MiMo-V2.6, Qwen, Inkling и OLMoE. Ещё один движок рисует картинки на Qwen-Image-2.1, а два, Laya и GLiNER2.5-Decide, выдают решения. Третья такая модель, Clef, идёт на движке Qwen3.6.

Кроме собственных форматов, colibri читает уже опубликованные GGUF-файлы без конвертации. Считать можно на процессоре, на любой видеокарте с поддержкой Vulkan и на картах NVIDIA через CUDA. Код открыт, лицензия Apache-2.0, текущая версия v2.1.0.

У репозитория 46 859 звёзд и 5410 форков. Он создан 1 июля 2026 года, то есть за 125 дней набирал в среднем около 375 звёзд в день. Последнее обновление датировано 3 ноября.

Запускать модели локально на процессоре умеют и другие проекты, например llama.cpp, который Георгий Герганов начал в марте 2023 года. У colibri другая ставка: он рассчитан на очень крупные MoE-модели, у которых на каждый токен работает лишь малая часть параметров. Поэтому остальных экспертов движок оставляет на диске и читает по мере надобности.