Локальный Qwen 3.8: 300 токенов в секунду на RTX 5090 и 5060 Ti

Вышел Basalt 0.2.0, движок для запуска модели Qwen 3.8 Flash Next на видеокартах Nvidia поколения Blackwell. На связке RTX 5090 и RTX 5060 Ti со 128 ГБ оперативной памяти в формате NVFP4 он выдаёт около 300 токенов в секунду на прозе и около 600 на структурированных ответах. Разбор длинного запроса идёт со скоростью около 10 тысяч токенов в секунду.

Автор поста пишет, что в этот раз начал с качества, а не со скорости, и все новые замеры сделал относительно полноразмерной модели. Эталоном служит BF16-версия Unsloth в формате GGUF, запущенная через llama.cpp, её перплексия равна 3,2749. Для сравнения он смотрел, как часто сжатая версия выбирает то же самое следующее слово, что и эталон.

Basalt Q8 совпал с эталоном в 95,34% случаев (KLD 0,0200), llama.cpp Q8 в 93,98% (KLD 0,0325). Автор оговаривает, что каждый движок мерил собственным инструментом, поэтому сравнение неточное. У NVFP4-DQ8 совпадение 92,25% (KLD 0,0561), у NVFP4-DQ6_K 91,65% (KLD 0,0624), у самой сжатой из проверенных версий, GSQ-RCO IQ3_S, 87,56% (KLD 0,1497). Чем сильнее сжатие, тем реже модель повторяет выбор оригинала.

Qwen это семейство языковых моделей китайской компании Alibaba. Blackwell это архитектура видеокарт Nvidia, на ней построена серия RTX 50, включая RTX 5090 и RTX 5060 Ti. Basalt работает только на таких картах. Все скорости получены автором на его железе.