Какая видеокарта нужна для локальных LLM: гид по GPU и VRAM

«Какая видеокарта нужна для локальных нейросетей?» — самый частый вопрос при подборе железа под ИИ. И ответ почти всегда не тот, которого ждут: смотреть надо не на игровую производительность и не на число ядер, а на объём видеопамяти. Именно VRAM определяет, поместится ли модель в карту вообще. Ниже — практический разбор: сколько видеопамяти нужно под модели разного размера, как квантизация меняет расклад, можно ли обойтись без GPU и когда выгоднее арендовать видеокарту в облаке, а не покупать.

Почему всё решает VRAM

Языковая модель — это набор весов (чисел), которые при работе должны целиком лежать в памяти видеокарты. Если модель не помещается в VRAM, она либо не запустится, либо будет частично выгружаться в оперативную память и на диск, а это замедляет работу в десятки раз. Поэтому первое правило подбора GPU: сначала считаем, влезет ли модель, и только потом смотрим на скорость.

Грубая формула для оценки: в исходной точности (16 бит) модели нужно примерно 2 гигабайта видеопамяти на каждый миллиард параметров. То есть модель на 7 миллиардов параметров (7B) в полной точности требует около 14 ГБ только под веса, плюс запас на контекст и служебные данные. Отсюда становится понятно, почему видеопамять — узкое место, и почему квантизация (о ней ниже) настолько важна.

Сколько VRAM под какую модель

Дам практические ориентиры для квантизованных моделей (4-битная квантизация, самый ходовой вариант) — именно так их чаще всего запускают локально:

Модели 7-8B (Llama 8B, Qwen 7B, Mistral 7B). В 4-битной квантизации занимают примерно 5-6 ГБ. Комфортно работают на картах с 8-12 ГБ VRAM. Это уровень многих потребительских видеокарт и даже некоторых ноутбучных GPU. Отличный старт для чат-ассистента и несложного RAG.

Модели 13-14B (Qwen 14B и аналоги). Требуют примерно 8-10 ГБ в квантизации. Нужна карта с 12-16 ГБ VRAM. Заметно умнее «семёрок», хороший баланс качества и требований для бизнес-задач.

Модели 30-34B. Просят около 20 ГБ. Нужна карта с 24 ГБ VRAM (уровень старших потребительских или младших профессиональных GPU).

Модели 70B (Llama 70B, Qwen 72B). Даже в квантизации требуют примерно 40-48 ГБ. Это либо одна профессиональная/серверная карта на 48 ГБ, либо две карты по 24 ГБ, работающие вместе. Уровень качества близок к облачным решениям, но и требования соответствующие.

Квантизация: как ужать модель

Квантизация — это снижение точности весов модели, чтобы она занимала меньше памяти. Вместо 16 бит на число используют 8, 4 или даже меньше. Модель в 4-битной квантизации весит примерно вчетверо меньше исходной, а качество для большинства задач падает незначительно — обычно на несколько процентов, часто незаметно на практике.

Именно квантизация делает локальные LLM доступными: без неё модель 70B требовала бы 140 ГБ и была бы недостижима вне дата-центра, а в 4 битах она укладывается в 40-48 ГБ. Практический вывод: почти всегда локальные модели запускают в квантизации (форматы GGUF, AWQ, GPTQ), и все ориентиры по VRAM выше даны именно для этого случая. Если качество критично — можно взять 8-битную квантизацию (точнее, но памяти нужно больше), для экономии — 4-битную.

CPU-инференс против GPU

Запускать LLM можно и без видеокарты — на обычном процессоре, используя оперативную память вместо VRAM. Инструменты вроде llama.cpp и Ollama это умеют. Разница — в скорости.

На GPU модель 7B выдаёт десятки токенов в секунду — текст «печатается» быстрее, чем вы читаете. На CPU та же модель работает в разы, а крупные модели — в десятки раз медленнее: ответ может «набираться» болезненно долго. Для интерактивного чата это некомфортно, но для фоновых задач (ночная пакетная обработка документов, где скорость не критична) CPU-инференс вполне жизнеспособен и экономит на видеокарте.

Практическое правило: если нужен отзывчивый ассистент в реальном времени — нужен GPU. Если задача фоновая и терпит ожидание — можно начать на мощном CPU с большим объёмом ОЗУ (32-64 ГБ и больше) и без видеокарты вовсе.

Потребительские и серверные GPU

Потребительские видеокарты (игровые RTX) дают максимум видеопамяти за свои деньги и отлично подходят для одной модели и небольшой команды. Их минусы: ограниченный объём VRAM на одной карте (обычно до 24 ГБ), отсутствие ECC-памяти, не рассчитаны на круглосуточную работу под 100% нагрузкой годами.

Серверные и профессиональные ускорители (NVIDIA A100, H100, L40 и др.) стоят кратно дороже, но дают большой объём VRAM на одной карте (40-80 ГБ и выше), рассчитаны на непрерывную работу, эффективно объединяются в связки и лучше держат много параллельных запросов. Их берут, когда нужны крупные модели, высокая нагрузка и надёжность 24/7.

Для большинства задач малого и среднего бизнеса потребительская карта с 16-24 ГБ VRAM закрывает потребности с большим запасом. Серверное железо оправдано на моделях 70B и при высоком потоке запросов.

Ориентиры по бюджету

Грубые ориентиры, чтобы понимать масштаб (цены сильно колеблются, поэтому говорим о порядке):

Начальный уровень. Потребительская карта с 8-12 ГБ VRAM — десятки тысяч рублей. Хватает на модели 7-8B, чат-ассистент, простой RAG. Хороший вход для теста гипотезы.

Средний уровень. Карта с 16-24 ГБ VRAM — от ста тысяч рублей. Тянет модели 13-34B, комфортна для серьёзного RAG и небольшой команды.

Серьёзный уровень. Профессиональные/серверные ускорители на 48-80 ГБ или связки карт — от сотен тысяч до миллионов рублей. Нужны для 70B и высокой нагрузки.

К стоимости карты прибавьте сервер, охлаждение, электроэнергию и обслуживание. Именно поэтому покупка железа — не всегда лучший первый шаг: часто разумнее сначала арендовать.

Облачный GPU как альтернатива

Прежде чем покупать видеокарту, стоит рассмотреть аренду GPU в облаке. Провайдеры дают выделенный сервер с нужной картой помесячно или почасово. Плюсы: нулевые капитальные затраты, старт за час, возможность взять мощную карту под конкретную задачу и отказаться, когда она не нужна. Это идеальный вариант для пилота и для непостоянной нагрузки.

Когда аренда выгоднее покупки: нагрузка непостоянная, задача разовая или экспериментальная, нужно быстро проверить гипотезу, не хочется замораживать деньги в железе. Когда выгоднее покупка: нагрузка стабильная и высокая круглосуточно, есть жёсткое требование держать данные физически у себя, а горизонт использования — годы.

На практике оптимальная стратегия — начать с арендованного GPU, измерить реальную нагрузку и только потом решать, покупать ли своё железо. Мы помогаем подобрать конфигурацию под конкретную модель и бюджет и развернуть всё под ключ — чтобы вы не переплатили за видеопамять, которая вам не нужна, и не уперлись в нехватку VRAM на второй неделе.

Частые вопросы

Какая минимальная видеокарта нужна, чтобы начать? Карта с 8-12 ГБ VRAM позволяет комфортно запускать модели 7-8B в квантизации — этого достаточно для чат-ассистента и простого RAG. Это доступный вход, чтобы проверить пользу локальных LLM без крупных вложений.

Можно ли запустить нейросеть без видеокарты? Да, на CPU с большим объёмом оперативной памяти. Работать будет заметно медленнее, поэтому для интерактивного чата это некомфортно, но для фоновой пакетной обработки документов — вполне рабочий и экономный вариант.

Что важнее — быстрая карта или карта с большим объёмом памяти? Объём памяти. Быстрая карта, в которую модель не помещается, бесполезна: модель просто не запустится нормально. Сначала выбирайте по VRAM под нужный размер модели, затем уже смотрите на скорость.

Две карты по 24 ГБ заменят одну на 48 ГБ? По объёму — во многом да: современные движки умеют распределять модель между несколькими GPU, и связка 2×24 ГБ позволяет запустить 70B. Нюансы есть в эффективности и настройке, но как способ набрать нужный объём VRAM дешевле одной большой карты — это рабочий путь.

Коротко о главном

Подбор GPU под локальные LLM начинается с одного числа — объёма видеопамяти. От него зависит, какие модели вы вообще сможете запустить: 8-12 ГБ хватит на «семёрки», 16-24 ГБ — на модели среднего размера, а для 70B нужны 40-48 ГБ или связка карт. Квантизация уменьшает требования вчетверо почти без потери качества, поэтому именно в ней локальные модели и запускают.

Без GPU можно обойтись на фоновых задачах, а перед покупкой карты почти всегда стоит попробовать арендованный облачный GPU — так вы измерите реальную нагрузку и не переплатите за лишнюю видеопамять. Если не хотите разбираться в спецификациях самостоятельно, мы подберём железо точно под вашу модель и задачу и развернём всё под ключ.