AI

LLM на 125B под столом: почему агенты ушли из облака

Автор Хабра рассказал, как требования ИБ заказчиков привели его к 125B-модели на рабочей станции и что изменилось в работе ИИ-агентов.

Автор Хабра с ником 4KAP описал, как перевёл рабочих ИИ-агентов с облачных API на локальную модель на 125 млрд параметров. По его словам, она работает на его рабочей станции, генерирует 22–25 токенов в секунду и читает запрос (префилл) со скоростью больше 500 токенов в секунду. Данные, как утверждает автор, не выходят за периметр компании.

Причина в требованиях информационной безопасности. Заказчики автора: госкорпорации, банки, промышленные холдинги. По его перечню, при работе агентов в облако уходят постановки задач с названиями проектов, контрагентами и суммами, куски кода и конфигов с адресами внутренних систем (иногда с ключами доступа), логи и метаданные о том, кто, когда и о чём спрашивал. Среди проблем он называет и лимиты облака на десятки параллельных субагентов, и счета: один агент-расследователь, по его словам, за вечер съедает миллионы входных токенов.

Главная цифра по качеству: выбранная сжатая версия модели (квант) в 93,1% случаев даёт тот же ответ, что и 8-битный эталон. Из настройки автор выделяет немногое. Обновление программы, которая запускает модель, дало +79% к скорости генерации. На Windows увеличение файла подкачки добавило ещё 48%. Маленькая «черновая» модель-помощник, которая ускоряет генерацию, по его мнению, обязательна. Маскирование данных перед отправкой в облако он считает нужной гигиеной, но лишь частичным решением: по косвенным признакам информацию можно восстановить, а на замаскированном тексте падает качество ответов.

Локальный запуск возможен благодаря моделям с открытыми весами: их скачивают и запускают на своём железе. Архитектура MoE («смесь экспертов») на каждый токен задействует лишь часть параметров, поэтому большая модель считается быстрее плотной того же размера. Юридический фон, на который ссылается автор: поправка к 152-ФЗ, действующая с 1 сентября 2015 года, требует хранить первичную базу персональных данных граждан России на территории страны. Иностранные API она сама по себе не запрещает, но для юристов заказчиков это отдельная задача. Для сравнения: KRAKOBIT разбирал, какой Mac и ПК потянут локальную модель на 27B.

Автор прогнозирует, что в ближайшие один-два года гибрид станет нормой для команд разработки: облако для дизайна и сложных решений, локальная модель для массовых волн задач и всего чувствительного. Ещё один довод за локальный контур, по его словам: настроенные процессы переживают пропажу подписок, снятие деплойментов и отсутствие интернета.

Источник: Хабр