AI 13 мин чтения Автор KRAKOBIT

Локальная ИИ-модель на 27B: какой Mac и ПК её потянут

Локальная ИИ-модель на 27B на Mac и ПК: сколько нужно памяти, от чего зависит скорость, какие программы есть и как скачать модель при блокировках.

Открытая языковая модель на 27 миллиардов параметров в сжатом виде весит 14–17 ГБ. Для нормальной работы ей нужен Mac на Apple Silicon с 32 ГБ памяти или ПК с видеокартой на 24 ГБ. На Mac с 24 ГБ и на видеокартах с 16 ГБ работает более сжатая версия, а на Mac с 16 ГБ модель этого класса нормально не помещается. Сами модели бесплатно скачиваются с Hugging Face и запускаются в бесплатных программах LM Studio и Ollama. Ниже разбор: откуда берутся эти цифры, что определяет скорость ответа, какое железо подходит и как модели попадают на компьютер там, где Hugging Face закрыт или интернет отключают.

Почему модели на 27B стали главными для локального ИИ

Размер модели измеряют в параметрах. Это числа, которые она выучила при обучении. Чем их больше, тем модель умнее и тем больше памяти ей нужно.

Модели на 7–14 миллиардов параметров быстро работают даже на ноутбуке, но путаются в длинных рассуждениях. Модели на 70 миллиардов и больше заметно умнее, но даже в сжатом виде весят от 40 ГБ. Это уже две дорогие видеокарты или Mac с очень большим объёмом памяти.

Класс 24–32B оказался серединой: самые сильные модели, которые ещё помещаются в одну игровую видеокарту на 24 ГБ или в Mac среднего уровня. Поэтому в этом весе выступают сразу несколько крупных лабораторий.

Модель Разработчик Выход Параметры Лицензия Понимает картинки
Gemma 3 27B Google март 2025 27 млрд Gemma Terms of Use да
Qwen3-32B Alibaba апрель 2025 32 млрд Apache 2.0 нет
Mistral Small 3.1 Mistral AI март 2025 24 млрд Apache 2.0 да

Apache 2.0 разрешает использовать модель где угодно, в том числе в коммерческом продукте. У Gemma собственные условия Google: коммерческое использование тоже разрешено, но с перечнем запрещённых сценариев.

Новые модели этого класса выходят каждые несколько месяцев. Всё, что написано ниже про память и скорость, относится к любой из них: правила одни и те же.

Сколько памяти нужно модели на 27 миллиардов параметров

В исходном виде каждый параметр занимает 2 байта. 27 миллиардов параметров умножить на 2 байта: 54 ГБ. Такой файл не влезет ни в одну игровую видеокарту.

Поэтому модели сжимают. Числа внутри модели округляют, и каждое занимает уже не 16 бит, а 8, 6, 5 или 4. Модель становится в 3–4 раза легче. При сжатии до 4–6 бит ответы почти не отличаются от оригинала, при 3 битах и ниже ошибки на сложных задачах становятся заметнее.

Google в апреле 2025 года выпустил версии Gemma 3, которые заранее учили работать в сжатом виде. По данным Google, Gemma 3 27B в таком варианте уменьшилась с 54 ГБ до 14,1 ГБ.

Сжатые модели обычно скачивают одним файлом в формате GGUF. Уровень сжатия написан прямо в имени: Q8, Q6, Q5, Q4, Q3, Q2. Цифра после буквы Q примерно равна числу бит на параметр. Размеры в таблице рассчитаны для модели на 27 миллиардов параметров, у конкретных файлов они отличаются на 1–2 ГБ.

Уровень сжатия в имени файла Бит на параметр, около Размер для 27B, расчёт Качество
исходный (BF16) 16 54 ГБ эталон
Q8 8,5 29 ГБ практически без потерь
Q6 6,6 22 ГБ разница почти незаметна
Q5 5,7 19 ГБ очень близко к оригиналу
Q4 4,8 16 ГБ самый популярный компромисс
Q3 3,9 13 ГБ ошибки на сложных задачах заметнее
Q2 3,1 10,5 ГБ качество падает заметно

Размер файла ещё не вся нужная память. Во время разговора модель держит в памяти контекст: всё, что уже было сказано, и вставленные документы. Эта часть растёт вместе с диалогом и при длинных документах занимает несколько гигабайт. Поэтому сверх размера файла нужен запас, на короткие разговоры около 2–3 ГБ (оценка), на длинные больше.

Какой Mac потянет модель на 27B

У Mac на Apple Silicon нет отдельной видеопамяти: процессор и графика пользуются одной общей памятью. Для локального ИИ это главное преимущество: Mac с 64 ГБ может отдать модели больше памяти, чем самая большая игровая видеокарта NVIDIA, RTX 5090 с её 32 ГБ.

Но всю память графике macOS не отдаёт. Часть остаётся системе и программам. По умолчанию графике доступно примерно две трети или три четверти памяти (оценка, доля зависит от модели Mac и версии macOS). Поэтому Mac на 24 ГБ по возможностям близок к видеокарте на 16–18 ГБ, а не на 24.

Память Mac Доступно графике, оценка Что помещается из класса 27B
16 ГБ 10–12 ГБ нормально не помещается: только Q2 около 10,5 ГБ, без запаса и с заметной потерей качества
24 ГБ 16–18 ГБ Q3 с запасом, Q4 впритык, без места под длинный разговор
32 ГБ 21–24 ГБ Q4 с запасом под контекст
48 ГБ 32–36 ГБ Q5 и Q6, длинный контекст
64 ГБ и больше 42–48 ГБ и больше Q8, почти исходное качество

Для Mac с 16 ГБ честный потолок это модели на 7–14 миллиардов параметров. Их выбор тоже большой, но это другой класс.

У Apple есть собственная библиотека для ИИ, MLX. Модели в формате MLX работают на Apple Silicon напрямую. Для популярных моделей на Hugging Face обычно лежат обе версии, GGUF и MLX, а LM Studio на Mac умеет запускать и ту и другую.

От чего зависит скорость ответа

Модель пишет ответ кусочками, их называют токенами. Один токен это примерно часть слова. Чтобы выдать каждый следующий токен, компьютер прочитывает из памяти всю модель целиком. Поэтому скорость упирается не столько в мощность чипа, сколько в то, сколько гигабайт в секунду успевает отдать память. Это называется пропускной способностью памяти.

Отсюда простая оценка сверху: пропускная способность, делённая на размер модели. Реальная скорость ниже этого потолка, но соотношение между устройствами он показывает. Пропускная способность в таблице взята из характеристик Apple и NVIDIA, потолок рассчитан для модели Q4 размером 16 ГБ.

Устройство Пропускная способность Потолок, токенов в секунду, расчёт
Mac на M4 120 ГБ/с 7,5
Mac на M5 153 ГБ/с 9,6
Mac на M4 Pro 273 ГБ/с 17
Mac на M4 Max, старшая версия 546 ГБ/с 34
Mac Studio на M3 Ultra 819 ГБ/с 51
RTX 3090 936 ГБ/с 58,5
RTX 4090 1008 ГБ/с 63
RTX 5090 1792 ГБ/с 112

Для сравнения: человек читает примерно 4–6 токенов в секунду (оценка). Всё, что выше 10–15, ощущается как быстрый ответ. Базовые M4 и M5 по этому расчёту показывают модель 27B на грани комфорта, M4 Pro и выше уже уверенно.

Почему длинный документ отвечает дольше

Прежде чем писать ответ, модель прочитывает всё, что ей дали на вход. Эта стадия устроена иначе: здесь важна уже вычислительная мощность графики, а не память. Короткий вопрос обрабатывается почти мгновенно на любом устройстве из таблицы. Длинный договор или переписка на десятки страниц означает паузу перед первой строкой ответа, и её длина зависит от того, насколько мощная графика.

Apple эту слабость признаёт косвенно: в чипе M5 в каждое графическое ядро добавлены отдельные ускорители для ИИ, и компания заявляет, что пиковая производительность графики для ИИ у M5 более чем в 4 раза выше, чем у M4. Точная разница в паузе между конкретным Mac и конкретной видеокартой зависит от модели и длины текста, универсальной цифры нет.

Какая видеокарта нужна на ПК

На ПК всё решает объём видеопамяти. Часть модели, которая поместилась в видеокарту, работает быстро. Часть, вынесенная в обычную оперативную память, тормозит весь процесс, потому что обычная память ПК отдаёт данные в разы медленнее видеопамяти.

Видеопамять Карты Что помещается из класса 27B
32 ГБ RTX 5090 Q5 и Q6, длинный контекст
24 ГБ RTX 3090, RTX 4090, Radeon RX 7900 XTX Q4 целиком, с запасом около 8 ГБ под контекст
16 ГБ RTX 4060 Ti 16 ГБ, 4070 Ti Super, 4080, 5070 Ti, 5080 Q3 с запасом около 3 ГБ, Q4 только частично
12 ГБ и меньше большинство массовых карт большая часть модели уходит в оперативную память

Сравнение с Mac по этой таблице сходится: карта на 16 ГБ примерно равна Mac на 24 ГБ, карта на 24 ГБ примерно равна Mac на 32 ГБ. Разница в скорости, а не в том, что помещается.

Без видеокарты модель тоже запускается, на одном процессоре, если в компьютере 32 ГБ оперативной памяти и больше. Для проверки этого хватает, для работы нет: обычная память ПК отдаёт десятки, а не сотни гигабайт в секунду, и ответ печатается медленнее, чем человек читает. Видеокарты AMD поддерживаются в LM Studio и Ollama, но большинство инструкций и готовых решений пишут в первую очередь под NVIDIA.

Какие программы запускают локальные модели

Запуск модели давно перестал быть задачей для админа. Основные программы бесплатны.

Программа Платформы Для кого
LM Studio Mac, Windows, Linux обычное приложение с окном чата, поиск и загрузка моделей мышкой
Ollama Mac, Windows, Linux работает в фоне, удобна, когда модель нужна другим программам
llama.cpp Mac, Windows, Linux движок, на котором построены LM Studio и Ollama, для тех, кто любит командную строку

В LM Studio весь путь проходит мышкой: поиск модели по названию, выбор уровня сжатия, загрузка, чат. Программа сама подсвечивает, поместится ли выбранный файл в память компьютера, так что считать гигабайты по таблицам выше вручную не обязательно.

В LM Studio и Ollama есть режим, в котором модель отвечает другим программам так же, как отвечает ChatGPT. Бот или скрипт, написанный под ChatGPT, переключается на свою модель заменой адреса в настройках. Так локальная модель становится частью продукта, а не только окном чата.

На Mac появляются и готовые инструменты поверх этого. KRAKOBIT уже писал про Osaurus, который запускает ИИ-агентов на Mac без интернета. Модели класса 27B как раз тот размер, на котором такие агенты начинают выполнять многошаговые задачи, а не только поддерживать разговор.

Как скачать модель, если Hugging Face заблокирован

Hugging Face главный склад открытых моделей, и в Китае он заблокирован. Китайские разработчики пользуются двумя путями. Первый: hf-mirror.com, общественное зеркало, которое повторяет содержимое Hugging Face. Второй: ModelScope, площадка Alibaba, где лежат Qwen и многие другие открытые модели.

В Иране главная проблема отключения. В ноябре 2019 года власти почти на неделю отрезали страну от международного интернета. В июне 2025 года, во время войны с Израилем, связь с внешним миром снова почти пропадала. Во время таких отключений из-за рубежа не скачивается ничего, а модель, которая уже лежит на диске, продолжает работать.

Файл на 16 ГБ при медленном или нестабильном канале качается долго. Расчёт без учёта обрывов и потерь:

Скорость канала Время загрузки 16 ГБ, расчёт
2 Мбит/с около 18 часов
10 Мбит/с около 3,5 часа
50 Мбит/с около 43 минут
100 Мбит/с около 21 минуты

GGUF удобен тем, что модель это один файл. Его можно скопировать на флешку или внешний диск и передать человеку без интернета. LM Studio и Ollama подхватывают такие файлы с диска, без загрузки из сети.

У копий с зеркал и из чатов есть очевидный риск: файл мог подготовить кто угодно. На странице каждого файла в Hugging Face указан его цифровой отпечаток, длинная строка из букв и цифр. Если отпечаток скачанной копии совпадает с указанным, файл тот же самый до последнего байта.

Что локальная модель умеет, а что нет

Работает хорошо:

  • тексты, переписка, перевод, пересказ документов;
  • помощь с кодом на уровне отдельных функций и поиска ошибок;
  • работа полностью без интернета: в самолёте, в дороге, во время отключений;
  • приватность: договоры, переписка и база клиентов не уходят на чужой сервер;
  • независимость от правил сервиса: облачный ИИ зависит от того, пускает ли компания пользователей из страны и принимает ли оплату, а скачанной модели всё равно, где стоит компьютер;
  • ответы для своих ботов и агентов без счёта за каждый токен.

Работает хуже или не работает:

  • свежих новостей модель не знает: её знания заканчиваются датой обучения, а в интернет она сама не ходит;
  • на длинных многошаговых задачах модели этого класса уступают облачным флагманам вроде Claude и GPT;
  • длинный контекст съедает память и удлиняет паузу перед ответом;
  • картинки понимают не все модели класса 27B, это указано в описании модели.

Сколько стоит своя модель по сравнению с подпиской

ChatGPT Plus и Claude Pro стоят по 20 долларов в месяц, 240 долларов в год. За эти деньги пользователь получает сильнейшие модели, вместе с лимитами сообщений и привязкой к аккаунту. API берёт деньги за каждый токен, и агенты, которые делают десятки шагов на одну задачу, расходуют их тысячами.

У локальной модели другая экономика: деньги уходят на железо один раз, а не на слова каждый месяц. Если Mac с 32 ГБ или видеокарта на 24 ГБ уже стоят на столе, модель класса 27B добавляет к расходам только электричество. Если железа нет, порог входа выше: например, подержанная RTX 3090 на 24 ГБ стоит порядка 600–900 долларов (оценка, цены сильно зависят от страны), это 2,5–4 года подписки.

На практике эти варианты чаще сочетают, чем выбирают одно. Простые шаги агента, вроде разбора почты, сортировки заявок и черновиков, отдают локальной модели, а платную облачную оставляют для трудных задач. Счёт за API при такой схеме зависит от того, какую долю работы удаётся перенести на свой компьютер.

Кратко: что на каком железе

Железо Что реально запускается из класса 27B
Mac 16 ГБ нормально не помещается, только Q2 с потерей качества; потолок модели на 7–14B
Mac 24 ГБ Q3, Q4 впритык
Mac 32 ГБ Q4 с запасом под контекст
Mac 48–64 ГБ Q5–Q8, длинный контекст
ПК с картой на 32 ГБ Q5 и Q6 целиком в видеокарте
ПК с картой на 24 ГБ Q4 целиком в видеокарте
ПК с картой на 16 ГБ Q3, или Q4 с частичной выгрузкой в оперативную память
ПК без видеокарты запуск для проверки, медленно