vLLM или Ollama: когда бизнесу нужен сервер под нагрузку

Когда компания решает держать нейросеть на своём сервере, первым обычно ставят Ollama: она ставится за минуты и сразу работает. Потом бот начинает обслуживать клиентов, и ответы становятся медленными. Разберу, в какой момент нужен vLLM и чем он отличается.

Что такое vLLM

vLLM — открытый движок для запуска больших языковых моделей и обслуживания запросов к ним. Изначально его разработали в лаборатории Sky Computing Lab Калифорнийского университета в Беркли, распространяется под лицензией Apache 2.0, то есть подходит для коммерческого использования.

Что важно для бизнеса по данным самого проекта:

Больше 200 архитектур моделей с Hugging Face, включая текстовые и мультимодальные.

Совместимый с OpenAI программный интерфейс. Приложение, написанное под облачную модель, можно переключить на свой сервер почти без переделки.

Широкое железо. Видеокарты NVIDIA, AMD и Intel, процессоры x86 и ARM, а также другие ускорители.

Квантизация. Поддержка сжатых форматов моделей, которые занимают меньше памяти.

Главная разница с Ollama

Обе программы запускают модель. Разница проявляется, когда запросов много одновременно.

При генерации ответа модель держит в памяти видеокарты промежуточные данные по каждому запросу. Если память под них выделяется с запасом, как в простых решениях, большая её часть простаивает, и одновременно помещается мало запросов.

vLLM решает это двумя механизмами. Первый — управление памятью по страницам: память выделяется небольшими блоками по мере необходимости, а не одним большим куском на запрос. Второй — непрерывное объединение запросов: новый запрос подключается к уже идущей обработке сразу, а не ждёт, пока закончится предыдущая пачка.

Итог на практике: на той же видеокарте vLLM одновременно обслуживает заметно больше пользователей, и время ответа меньше растёт с увеличением нагрузки.

Сравнение для бизнеса

Подробнее про Ollama и её сценарии — в статье свой ChatGPT на сервере через Ollama.

Признаки, что вы переросли Ollama

Запросы встают в очередь. Когда несколько человек пишут боту одновременно, часть ждёт, пока модель ответит другим.

Ответы замедляются с ростом пользователей. Утром, когда пишут единицы, всё быстро, а в пиковые часы — долго.

Модель встроена в продукт для клиентов. Бот поддержки, поиск по базе знаний, помощник внутри сервиса — всё, где число пользователей не контролируете вы.

Нужно выжать больше из дорогого железа. Если видеокарта куплена или арендована, простой её памяти — прямые потерянные деньги.

Если ничего из этого нет — модель использует один сотрудник или маленькая команда, — переходить незачем.

Когда vLLM не нужен

Личное использование и эксперименты. Для одного человека выигрыш от объединения запросов не проявляется, а настройка сложнее.

Слабое железо. Преимущества vLLM раскрываются на серверных видеокартах. На обычном ноутбуке проще остаться на Ollama или LM Studio.

Небольшой внутренний помощник. Пять сотрудников, редкие запросы — Ollama справится, а время на поддержку сложного движка дороже выигрыша.

Какое железо нужно под разные модели — в статье про видеокарты для локальных LLM.

Как переходить

Проверить, что ваша модель поддерживается. Список архитектур у vLLM широкий, но конкретную модель и её формат стоит проверить заранее.

Сохранить интерфейс. Если приложение обращается к модели через совместимый с OpenAI интерфейс, переход сводится к смене адреса сервера.

Замерить до и после. Время ответа и число одновременных запросов на реальной нагрузке, а не на одном тестовом запросе. Именно при нагрузке видна разница.

Настроить память. Параметры использования видеопамяти и максимальной длины контекста влияют на то, сколько запросов поместится. Значения по умолчанию подходят не всем.

Частые вопросы

vLLM быстрее Ollama для одного запроса?

Не обязательно заметно. Его преимущество — пропускная способность при множестве одновременных запросов, а не скорость одиночного ответа.

Можно ли запустить vLLM без видеокарты?

Проект поддерживает процессоры, но для производственной нагрузки с большими моделями нужны видеокарты или специализированные ускорители.

Придётся ли переписывать приложение?

Если оно работает через совместимый с OpenAI интерфейс — обычно нет, меняется адрес сервера и название модели.

Подходит ли vLLM для коммерческого использования?

Сам движок под лицензией Apache 2.0, это разрешено. Но лицензию конкретной модели нужно проверять отдельно — у неё свои условия.

Можно ли держать Ollama и vLLM одновременно?

Да, и это разумная схема: Ollama для экспериментов и разработчиков, vLLM для сервиса, которым пользуются клиенты.

Коротко о главном

Ollama и vLLM не конкуренты, а инструменты для разных задач. Ollama — быстрый старт для одного человека или маленькой команды. vLLM — движок под нагрузку, который на том же железе обслуживает больше одновременных пользователей за счёт экономного расхода видеопамяти и объединения запросов на лету.

Переходить стоит по признакам: очереди запросов, замедление в пики, модель внутри клиентского продукта. Без них vLLM добавит сложности, не дав выигрыша.

Если ваш бот или сервис на своей модели начал тормозить при росте пользователей — опишите нагрузку и железо. Скажу, решит ли проблему vLLM или узкое место в другом. Напишите в Telegram, MAX или VK.