Открытая ИИ-модель на своём железе: три варианта и отказ в пользу облака

Запрос выглядел просто: поставить открытую модель на свой компьютер и не зависеть от чужих сервисов. Дальше всё упирается в железо и в то, сколько вы реально генерируете.

Задача

Человек работает с дизайном и хотел две вещи. Первая, текстовая модель, которая помогает составлять промпты для дизайна. Вторая, генерация картинок. Всё это должно было работать у него самого, на своих данных, без подписки на сторонние сервисы. Железо одно: ноутбук с 8 ГБ памяти.

Нужно было ответить на вопрос «что из этого реально на такой машине» раньше, чем что-то устанавливать. Выбор модели под русский язык я разбирал в статье какой локальный LLM выбрать, а про видеокарты в материале GPU для локального ИИ.

Что я предложил

Что потянет ноутбук

Текстовая модель среднего размера на 8 ГБ запускается. Для составления и правки промптов этого хватает, пусть и не на самой большой модели. С картинками иначе. Генерация изображений опирается на видеокарту NVIDIA с памятью от 6 ГБ. Если такой карты в ноутбуке нет, картинки на нём либо не пойдут, либо будут считаться неприемлемо долго. Тогда остаётся арендовать сервер с видеокартой с почасовой оплатой. Ставку за час я назвал ориентировочно и честно отметил, что с рынком она не сверена.

Три варианта по объёму

Первый вариант, минимальный: установить текстовую модель на ноутбук и настроить интерфейс для работы с промптами. Срок один рабочий день.

Второй вариант: арендовать сервер с видеокартой на аккаунте самого заказчика, поставить генерацию изображений на моделях Flux и SDXL, подготовить шаблоны промптов под его задачи. Срок два рабочих дня.

Третий вариант: то же самое плюс дообучение под его собственный стиль и бот в Telegram, через который можно отправлять запросы с телефона. Срок четыре-пять рабочих дней.

Сервер в любом случае оформляется на заказчика: доступы остаются у него, а я работаю по выданному ключу. Такой порядок я держу по всем проектам. Подробнее про готовую связку для одного сервера есть в материале про локальный AI-сервер с ComfyUI, а про генерацию изображений на своём сервере в статье про ComfyUI.

Что учёл и где риски

Самый большой риск лежит в экономике. Свой сервер выгоден при постоянной нагрузке: он стоит, пока вы платите за аренду или электричество, и окупается, когда им пользуются много и часто. При небольших объёмах облачный сервис, где платишь за каждую генерацию, обходится дешевле. Точку пересечения нужно считать по реальным цифрам: сколько картинок в день, какого размера, сколько попыток на удачный результат.

Второй риск: ожидания по качеству. Открытые модели хороши, но у закрытых сервисов часто выше средний результат из коробки, и промпты под них отлажены годами. Дообучение под свой стиль помогает, но требует подготовленного набора примеров и не гарантирует, что результат понравится.

Третий риск: время на сопровождение. Модели выходят новые, драйверы обновляются, видеокарту в аренде нужно выключать, иначе счёт растёт. Человек, который хочет заниматься дизайном, такой нагрузкой может быть недоволен.

Как я предложил считать

Чтобы выбор не зависел от настроения, я описал простой расчёт, который заказчик может сделать сам за десять минут. Берёте типичную неделю работы и считаете, сколько картинок вы создаёте и сколько запросов к текстовой модели делаете. Умножаете на среднее число попыток до удачного результата. Для облака берёте цену одной генерации из тарифа сервиса и перемножаете. Для своего сервера берёте почасовую аренду видеокарты, умножаете на часы, когда она реально включена, и добавляете время на настройку и обслуживание. Меньшая сумма и есть ответ.

Важная деталь: аренду часто забывают выключить, и тогда простаивающая видеокарта съедает всю экономию. Если человек не готов дисциплинированно выключать сервер после работы, облако безопаснее. Для небольших объёмов такой расчёт почти всегда выигрывает облако, и заказчик пришёл к этому выводу раньше меня.

В каком статусе

Отказ пришёл примерно через полчаса после моего ответа. Довод разумный: объёмы небольшие, а облако оплачивается за использование. Спорить я не стал, чужие цифры я не проверял.

Что дальше

Предложение закрыто. Если объёмы у заказчика вырастут, например появятся десятки генераций в день или данные, которые нельзя отправлять во внешние сервисы, разговор можно вернуть. Тогда стоит заново посчитать стоимость облака и стоимость своего сервера на фактических цифрах.

Если своя модель нужна из соображений приватности, критерии другие. В таком случае я разбираю, какие данные нельзя выпускать наружу, и подбираю размер модели под них. Это та же логика, что в материале про корпоративного ассистента на своих данных.

Частые вопросы

Хватит ли ноутбука на 8 ГБ для локальной ИИ-модели?

Для текстовой модели среднего размера хватит. Для генерации картинок нужна видеокарта NVIDIA от 6 ГБ, иначе придётся брать сервер с видеокартой.

Когда свой сервер выгоднее облака?

Когда нагрузка постоянная и большая, или когда данные нельзя отправлять во внешние сервисы. При редких запросах облако дешевле.

Можно ли дообучить модель под свой стиль?

Можно, если есть подборка ваших работ и время на проверку результатов. Гарантий, что картинки станут нравиться больше, это не даёт, поэтому начинать лучше с готовых шаблонов промптов.

Что выбрать, если сомневаюсь?

Начать с облака и вести учёт: сколько запросов и картинок вы делаете за месяц и сколько это стоит. Через месяц-два у вас будут свои цифры, и решение о собственном сервере будет опираться на них.

Коротко о главном

Это кейс о предложении, которое не состоялось. Я разобрал, что можно запустить на ноутбуке с 8 ГБ, предложил три варианта по объёму и срокам, заказчик посчитал и выбрал облако. Запуска не было, и я считаю такой исход честным результатом разбора.

Если вы думаете о своей модели и сомневаетесь, нужна ли она вам, пришлите ваши объёмы и задачи, и я посчитаю оба варианта. Подробнее на странице автоматизации бизнеса, напишите в Telegram, MAX или VK.