Калькулятор железа для ИИ-модели
Сколько видеопамяти нужно, чтобы запустить открытую ИИ-модель на своём сервере: размер модели, квантование, контекст. Какая видеокарта подойдёт.
Нужно видеопамяти—
Подойдёт—
На процессоре: нужно столько же оперативной памяти, но ответы будут в разы медленнее.
Подобрать железо под мою задачуКак считаем
- Веса: число параметров × байт на параметр (2 для FP16, 1 для 8 бит, около 0,56 для 4 бит).
- Контекст: память под KV-кэш растёт с длиной контекста и числом одновременных запросов.
- Плюс около 10% и 1 ГБ на служебные нужды движка.
Это ориентировочная оценка (±30%): точные цифры зависят от архитектуры модели, движка (llama.cpp, vLLM, Ollama) и настроек. Перед покупкой железа проверю модель на ваших задачах.
Нужна модель под вашу задачу?
Открытую модель можно поставить на свой сервер: данные не уходят в чужое облако, нет оплаты за каждый запрос, модель можно дообучить на ваших документах.
- ПодберуМодель и размер под задачу и бюджет на железо
- ПоставлюНа ваш сервер или в закрытый контур, с API
- ДообучуНа ваших данных или подключу базу знаний
- ВстроюВ CRM, 1С, бота, сайт или рабочий чат