Сколько железа нужно локальному ИИ: GPU, RAM, VRAM по моделям

«Хочу свой ИИ на своём железе — что для этого нужно купить?» Это первый вопрос, который задают перед локальным запуском нейросети. И ответ почти всегда упирается не в процессор, а в память: оперативную и видеопамять видеокарты. Если модель в память не помещается — она либо не запустится, либо будет работать мучительно медленно. Ниже разберу простыми словами, от чего зависят требования, сколько памяти нужно под популярные размеры моделей и как выбрать железо под задачу, не переплачивая за лишнюю мощность. Без «магических» цифр-гарантий — с честными ориентирами и оговорками.

От чего зависят требования

Чтобы понимать, что покупать, важно разобраться, что вообще нагружает железо при работе локальной модели. Ключевых факторов три, и почти все они про память, а не про «скорость камня».

• Размер модели. Модели измеряют в миллиардах параметров: 7B, 8B, 13B, 70B (B — billion, миллиард). Чем больше параметров, тем «умнее» модель в среднем, но тем больше памяти ей нужно. Это главный фактор.
• Квантизация. Это «сжатие» модели: числа внутри хранят с меньшей точностью, чтобы файл занимал меньше места. Сильнее сжали — меньше памяти и выше скорость, но немного ниже качество. Именно квантизация позволяет большим моделям влезать в скромное железо.
• Размер контекста. Контекст — это сколько текста модель держит «в уме» за раз (запрос, ответ, история). Чем он больше, тем больше дополнительной памяти нужно сверх самой модели. Длинный контекст «про запас» легко съедает гигабайты.

Скорость процессора и видеокарты влияет на то, как быстро идут ответы, но первично — поместится ли модель в память вообще. Поэтому планирование железа начинается с вопроса «сколько памяти», а уже потом — «насколько быстро».

VRAM, RAM и квантизация

Разберём два вида памяти, потому что путаница тут — главная причина неудачных покупок.

VRAM (видеопамять). Это память видеокарты. Когда модель целиком помещается в VRAM, видеокарта считает её сама — и это в разы быстрее процессора. Поэтому объём видеопамяти — самый ценный ресурс для локального ИИ. Видеокарта на 8 ГБ, 12 ГБ, 16 ГБ, 24 ГБ — это разные «весовые категории» по тому, какая модель в неё влезет.

RAM (оперативная память). Это обычная память компьютера. На ней модель тоже может работать — через процессор — но заметно медленнее. Если видеопамяти не хватает, llama.cpp и подобные движки умеют часть модели держать в VRAM, а часть — в RAM на процессоре. Это спасает, когда видеокарта маленькая, но снижает скорость.

Простое правило прикидки. Грубый ориентир: посмотрите, сколько весит файл модели в выбранной квантизации (например, 5 ГБ или 40 ГБ), — примерно столько памяти и понадобится, плюс небольшой запас на контекст и служебные нужды. Если этот объём влезает в VRAM — будет быстро. Если только в RAM — будет работать, но медленнее. Если не влезает никуда — модель надо брать меньше или сильнее сжать.

Сколько нужно по моделям

Дам практические ориентиры по популярным размерам моделей. Важная оговорка: это именно ориентиры «комфортного» запуска в разумной квантизации, а не точные требования — они зависят от конкретной модели, квантизации и размера контекста. Цифры могут отличаться, поэтому финально всегда проверяю на реальной конфигурации.

• Небольшие модели (около 7–8 млрд параметров). В сжатом виде такая модель занимает примерно несколько гигабайт. Комфортно идёт на ноутбуке с 16 ГБ оперативной памяти, а с видеокартой на 8 ГБ VRAM — уже бодро. Это рабочая «рабочая лошадка» для диалога, помощи с текстами и несложных задач.
• Средние модели (примерно 13–14 млрд параметров). Заметно требовательнее. Хочется видеокарту с 12–16 ГБ VRAM, чтобы работала быстро; на одной оперативке пойдёт, но медленнее. Дают более качественные ответы на сложных запросах.
• Крупные модели (примерно 30 млрд параметров и выше). Здесь уже нужна видеокарта с большим объёмом VRAM (24 ГБ и больше) или сервер, а иногда и несколько видеокарт. Для домашнего ноутбука это обычно перебор.
• Очень большие модели (порядка 70 млрд параметров). Это уже серверная история: либо мощные видеокарты с десятками гигабайт VRAM, либо запуск с сильным сжатием и частичной выгрузкой в RAM ценой скорости. Для большинства бизнес-задач столько обычно и не требуется.

Вывод из этих ориентиров простой: для старта и многих рабочих сценариев небольшой модели на скромном железе достаточно, а гнаться за «семидесятками» имеет смысл только под конкретную задачу, где они реально лучше.

Видеокарта или процессор

Частый вопрос: обязательно ли покупать видеокарту? Нет, но она кардинально меняет ощущения от работы.

• Без видеокарты (только процессор и RAM). Работать будет, особенно с небольшими моделями и сильной квантизацией. Подходит, чтобы попробовать, для нечастых запросов и для фоновых задач, где скорость ответа некритична. Минус — заметные задержки на каждый ответ.
• С видеокартой (VRAM). Главный ускоритель. Если модель целиком влезает в видеопамять, ответы идут в разы быстрее и работать комфортно, как с облачным сервисом. Объём VRAM при этом важнее, чем «топовость» карты: лучше больше памяти, чем чуть быстрее, но мало.
• Гибрид. Современные движки умеют делить модель между видеокартой и процессором. Это разумный компромисс, когда видеокарта есть, но её памяти не хватает на всю модель: часть слоёв ускоряется на GPU, остальное — на CPU.

Отдельно про технику настройки выгрузки слоёв на видеокарту, размер контекста и потоки я подробно пишу в статье про llama.cpp — это второй рычаг после выбора самого железа. Железо и настройки работают в паре: можно недокупить и грамотно настроить, а можно переплатить и не использовать половину.

Как выбрать железо под задачу

Главная ошибка — покупать «самое мощное на всякий случай». Правильнее идти от задачи. Я обычно рассуждаю так:

• Сначала — задача, потом железо. Диалоговый помощник, работа с документами, генерация кода, обработка больших объёмов — у всего разные требования. От задачи зависит, какая модель нужна, а уже от модели — сколько памяти.
• Выбираем минимально достаточную модель. Часто небольшая модель отлично решает задачу. Нет смысла платить за железо под «семидесятку», если для вашего сценария хватает модели на 7–8 миллиардов параметров.
• Память важнее скорости. При выборе видеокарты ориентируйтесь в первую очередь на объём VRAM — он определяет, какая модель влезет. Карта поскромнее, но с большим объёмом памяти часто полезнее «быстрой, но маленькой».
• Сервер или рабочее место. Если ИИ нужен одному человеку иногда — хватит мощного ноутбука или ПК. Если это сервис для команды под нагрузкой — это уже сервер с подходящей видеокартой, и считать нужно иначе.
• Аренда против покупки. Иногда выгоднее арендовать сервер с видеокартой у хостера, чем покупать железо, — особенно на старте, пока проверяете идею. Это снижает риск переплаты.

Я 16+ лет в IT и подбираю конфигурацию под конкретную задачу и бюджет: какая модель решит вопрос, сколько под неё нужно памяти, брать своё железо или арендовать сервер. Так вы не переплачиваете за лишнюю мощность и не упираетесь в нехватку памяти на второй день.

Частые вопросы

Хватит ли обычного ноутбука для локального ИИ? Для небольших моделей (около 7–8 миллиардов параметров) в сжатом виде — обычно да, особенно если в ноутбуке 16 ГБ оперативной памяти и есть видеокарта. Ответы будут не мгновенными, но рабочими. Для крупных моделей ноутбука уже не хватит — нужна видеокарта с большим объёмом VRAM или сервер.

Что важнее — видеокарта или оперативная память? Видеокарта (точнее, объём её видеопамяти) даёт скорость, потому что считает модель в разы быстрее процессора. Оперативная память позволяет запускать модели на процессоре, когда видеопамяти не хватает, но медленнее. Идеально, когда модель целиком помещается в VRAM; если нет — выручает сочетание VRAM и RAM.

Сколько VRAM нужно конкретно? Грубый ориентир: примерно столько, сколько весит файл модели в выбранной квантизации, плюс запас на контекст. Для небольших моделей хватает 8 ГБ, для средних комфортнее 12–16 ГБ, для крупных — 24 ГБ и больше. Точную цифру даю после того, как определимся с моделью и задачей.

Можно ли обойтись без покупки железа? Да — можно арендовать сервер с видеокартой у хостера и платить помесячно. На старте это часто разумнее, чем сразу покупать дорогую видеокарту: вы проверяете идею с меньшим риском, а железо берёте, когда уже понятна реальная нагрузка.

Большая модель всегда лучше маленькой? Нет. Крупная модель в среднем «умнее», но если она еле влезает в память и тормозит, работать с ней некомфортно. Часто модель поменьше, которая целиком помещается в видеопамять и отвечает быстро, на практике полезнее. Размер выбирают под задачу, а не ради цифры.

Коротко о главном

Требования к железу для локального ИИ упираются прежде всего в память: модель должна поместиться в видеопамять (быстро) или хотя бы в оперативную (медленнее). Грубый ориентир — вес файла модели в выбранной квантизации плюс запас на контекст. Небольшие модели на 7–8 миллиардов параметров комфортно идут на ноутбуке с 16 ГБ памяти, средним нужна видеокарта на 12–16 ГБ VRAM, а крупные — это уже сервер. Главный совет — не покупать «самое мощное на всякий случай», а идти от задачи: выбрать минимально достаточную модель, смотреть в первую очередь на объём видеопамяти и рассмотреть аренду сервера вместо покупки. Если не хотите гадать с конфигурацией, я подберу железо и модель под вашу задачу и бюджет — без переплаты и без упора в нехватку памяти.