Свой ИИ-ассистент без облака: стенд на n8n, Ollama и Qdrant

Что просит директор

Типичный запрос звучит так: нужен ИИ, который отвечает по нашим регламентам, договорам и прайсам, а сами файлы в чужое облако мы отдавать не будем. Юристам и службе безопасности это обычно важнее скорости. Вторая половина запроса: чтобы сотрудники спрашивали в привычном мессенджере, а не открывали ещё один сайт.

Для первой половины в открытом доступе есть готовая заготовка. Для второй нужна работа. Посмотрим, что именно лежит в заготовке.

Что входит в стек и какое нужно железо

Репозиторий n8n-io/self-hosted-ai-starter-kit содержит один файл docker-compose.yml и четыре сервиса.

n8n собирает сценарии из блоков: принять сообщение, найти в базе, спросить модель, ответить. У него более 400 интеграций, подробнее мы писали в статье про n8n. Ollama запускает языковые модели на вашем сервере, о ней есть отдельный разбор. Qdrant хранит документы в виде векторов, чтобы искать по смыслу фразы (как это работает). PostgreSQL держит данные самого n8n: сценарии, учётные записи, историю запусков.

В compose-файле также есть служебные контейнеры, которые импортируют демо-сценарий и при первом запуске скачивают модель llama3.2. Порты по умолчанию: 5678 для n8n, 6333 для Qdrant, 11434 для Ollama.

Режим выбирается профилем Docker Compose. На процессоре: docker compose --profile cpu up. На видеокарте Nvidia: --profile gpu-nvidia. На видеокарте AMD под Linux: --profile gpu-amd. На Mac с чипами M1 и новее запускают просто docker compose up, но Docker не получает доступ к графическому ядру. README предлагает два пути: гонять всё на процессоре или поставить Ollama прямо на Mac и указать n8n адрес host.docker.internal:11434.

Цифр по оперативной памяти и месту на диске в README нет, и придумывать их я не буду. Ориентир даёт сама модель: llama3.2 в варианте на 3 миллиарда параметров занимает около 2 ГБ. Модели покрупнее требуют заметно больше памяти, и тогда без видеокарты ответы идут медленно. Сервер считают под выбранную модель и число одновременных пользователей.

Что можно собрать на этом стенде

README называет четыре примера: ИИ-агент для записи на приём, пересказ корпоративных PDF без отправки наружу, улучшенный бот для Slack и закрытый анализ финансовых документов. На нашем рынке это превращается в три понятных сценария.

Ответы по базе знаний. Менеджер спрашивает: «какая гарантия на модель X для юрлиц», ассистент находит абзац в регламенте и отвечает со ссылкой на документ. Принцип описан в статье про RAG на своих документах.

Разбор писем. Сценарий забирает входящее, определяет тему, срочность и отправителя, готовит черновик ответа и кладёт его на проверку человеку. Письмо отправляет сотрудник.

Суммаризация документов. Договор на 40 страниц превращается в таблицу: стороны, сроки, штрафы, условия расторжения. В kit для этого уже смонтирована общая папка, из неё n8n читает файлы.

Лицензии: что можно, а что нельзя

Здесь легко ошибиться, поэтому проверяем по первоисточникам. Сам репозиторий kit распространяется по Apache License 2.0, правообладатель n8n GmbH. Это свободная лицензия: копировать, менять и использовать в коммерческих проектах можно.

Сам n8n, который крутится внутри, лицензируется иначе, по Sustainable Use License. Она не относится к свободным. Использовать n8n бесплатно можно для внутренних нужд собственного бизнеса или для личных и некоммерческих целей. Продавать n8n как услугу или брать плату за сам продукт без отдельного коммерческого соглашения с n8n нельзя. Файлы с пометкой .ee. вообще закрыты под корпоративную лицензию.

Для компании, которая ставит ассистента себе, этого достаточно. Проблема возникает у тех, кто хочет упаковать стек в продукт и раздавать другим. Тогда лицензию надо читать отдельно, а лучше спросить у n8n письменно. Остальные компоненты стека в этой статье я не разбирал.

Где это не сработает без доработки

Авторы пишут в README прямо: kit не оптимизирован для продакшена и рассчитан на proof-of-concept. В репозитории это видно. В файле .env.example лежат учебные значения вроде POSTGRES_PASSWORD=password и N8N_ENCRYPTION_KEY=super-secret-key, их заменяют до первого запуска. Образы n8n и Ollama подтягиваются по тегу latest, и обновление может сломать сценарий. Резервных копий, мониторинга и HTTPS в наборе нет.

Второй момент касается языка. У Meta, автора llama3.2, в списке официально поддерживаемых нет русского: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель обучена и на других языках, но качество русских ответов надо проверять на ваших документах и при необходимости брать другую модель.

Третий: демо-сценарий это чат с моделью. Загрузка документов в Qdrant, нарезка текста, права доступа по отделам и обновление базы при изменении файла остаются на вас.

Что можно сделать уже сейчас

Первое: поднять стенд на отдельной машине и прогнать его на десяти реальных документах, не секретных. Хватит вечера.

Второе: собрать список из 20 вопросов, на которые сотрудники чаще всего ищут ответ в файлах, и проверить, отвечает ли модель на них верно.

Третье: решить, где ассистент живёт, в Telegram, MAX или в CRM, и кто его проверяет первые две недели.

Дальше мы берём этот стенд и доводим: настраиваем сценарии под ваши документы, подключаем мессенджеры и CRM, делаем разграничение доступа и резервные копии. Это RAG-системы под ключ. Если нужна готовая схема без стенда, смотрите корпоративный мозг на RAG. Ориентиры по стоимости есть на странице цен.

Частые вопросы

Можно ли использовать kit в коммерческой компании?

Да, для внутренних задач своего бизнеса. Лицензия самого kit свободная, у n8n она ограничивает перепродажу и встраивание в продукт, который вы продаёте другим. Планируете именно это, согласуйте условия с n8n.

Данные точно не уходят в интернет?

Пока вы используете только локальную Ollama, запросы к модели остаются на сервере. Если в n8n добавить блок с внешним ИИ-сервисом, документы пойдут к нему. Поэтому состав сценария проверяют отдельно.

Чем это лучше обычного ChatGPT для работы?

Данные остаются у вас, а ответы строятся по вашим документам. Взамен вы сами отвечаете за сервер и обновления, а качество локальных моделей обычно ниже, чем у крупных облачных.

Коротко о главном

Starter Kit даёт за вечер то, на что раньше уходили недели: работающую связку n8n, Ollama, Qdrant и PostgreSQL на вашем сервере. Лицензия самого kit свободная, у n8n она условная и для внутреннего использования подходит. Продакшеном набор пока не является, а русский язык у модели по умолчанию нужно проверять.

Хотите ассистента на своих документах без облака и без месяцев экспериментов? Напишите мне в Telegram слово «СТЕК». Посмотрим ваши документы, прикинем железо и решим, нужен ли вам этот стенд или хватит более простой схемы.