DeepSeek V4.1 Flash на RTX 3090: что даёт 64 ГБ оперативки

Автор проекта Delta Inference Engine выпустил версию 0.93 и рассказал о ней в r/LocalLLaMA: DeepSeek-V4.1-Flash-1017 на одной RTX 3090 с 24 ГБ теперь работает на компьютерах с 64, 96 и 128 ГБ оперативной памяти, а не только со 192 ГБ. Движок также полностью поддерживает новые квантованные версии модели от Unsloth.

Скорость генерации в токенах в секунду, один чат, жадный режим. У 2-битной UD-IQ2_XXS (301 ГБ): 41 при 192 ГБ, 34,0 при 128 ГБ, 29,3 при 96 ГБ и 21,0 при 64 ГБ. У 1-битной UD-IQ1_S (233 ГБ): 41,0, 40,6, 36,5 и 30,6. У 2-битной UD-Q2_K_XL (335 ГБ): 31,3, 26,6, 22,9 и 15,2. Стенд: процессор i5-13600K, четыре планки DDR5-5600 по 48 ГБ, NVMe-диск с PCIe 4.0, Windows без WSL. Строки для 128, 96 и 64 ГБ получены на том же компьютере: остальная память заблокирована.

Скорость в 41 токен в секунду при 192 ГБ осталась прежней, но качество выросло. На собственном тесте автора из 99 вопросов версия UD-IQ2_XXS дала 57 верных ответов, прежняя модель по умолчанию в движке 52, а полная несжатая модель 59. Скорости помогли новый нативный ридер таблиц Engram и оптимизация процессорных ядер. Первый токен ответа теперь появляется примерно на 40% быстрее. Кроме того, в релизе поддержка формата EXL3, базовая работа с несколькими видеокартами и публичные автоматические тесты проекта.

Запуск огромных моделей на обычном железе стал отдельной темой последних дней. 3 ноября KRAKOBIT писал про colibri, который читает экспертов с диска, и про движок FreeToken, запускающий модели 290B+ на игровом ПК. А 5 ноября DeepSeek взял 53% токенов OpenRouter за один день.