WebLLM: ИИ в браузере сотрудника, тексты не уходят в облако

Договор в чужое облако не отправишь

Юрист хочет быстро пересказать договор. Бухгалтер хочет черновик ответа на претензию. Кадровик хочет свести резюме в таблицу. Всё это делается через ChatGPT за минуту, и сотрудники так и делают, если им ничего не дать. Фамилии, суммы и реквизиты уходят на чужой сервер, а служба безопасности узнаёт об этом последней.

Привычный ответ: поставить свой сервер с видеокартой. Он работает, мы такое делаем, но это железо, настройка и обслуживание. Для отдела из пяти человек часто тяжело. Есть третий путь: модель считает на компьютере самого сотрудника, внутри браузера.

Что такое WebLLM и что в нём подтверждено

Проект mlc-ai/web-llm на 14 октября 2026 года: около 19 тысяч звёзд, создан в апреле 2023, не заархивирован, последний коммит 11 октября. В файле LICENSE лежит Apache 2.0. За три месяца в основной ветке 19 коммитов, 16 от одного человека. Проект живой, но с одним главным сопровождающим.

По README всё работает в браузере без серверной обработки, ускорение идёт через WebGPU. API повторяет OpenAI: потоковая генерация, режим JSON, фиксированный seed. Вызов функций в README помечен как WIP. Ставится через npm install @mlc-ai/web-llm или подключается с CDN.

Готовые модели перечислены в config.ts: Llama 3.1 и 3.2, Phi-3.5, Gemma 2 и свежая Gemma 4 E2B, Mistral 7B, Qwen3 и другие.

Сколько весят модели и что нужно железу

Цифры по версиям q4f16: размер файлов на Hugging Face и видеопамять из config.ts.

• Llama 3.2 1B: 0,70 ГБ, видеопамяти около 0,9 ГБ.
• Llama 3.2 3B: 1,82 ГБ, видеопамяти около 2,3 ГБ.
• Qwen3 4B: 2,28 ГБ, видеопамяти около 3,4 ГБ.
• Gemma 4 E2B: 2,83 ГБ, видеопамяти около 3,4 ГБ.
• Llama 3.1 8B: 4,53 ГБ, видеопамяти около 5 ГБ.

Первая загрузка идёт по сети, дальше файлы лежат в кеше браузера. Встроенная графика делит память с оперативной, и её может не хватить. Нужен браузер с WebGPU. По таблице проекта gpuweb Chrome и Edge поддерживают его с версии 113 на Windows и Mac, Firefox с версии 141 на Windows, Safari с версии 26. Работает только по HTTPS. В документации WebLLM советуют последний Chrome, его и закладывайте.

Что реально не покидает браузер

Текст пользователя считается на его видеокарте. В README WebLLM Chat сказано, что переписка не покидает компьютер. После первой установки приложение работает без интернета.

Но веса и служебные файлы откуда-то качаются. По умолчанию веса идут с huggingface.co, а скомпилированные модули с raw.githubusercontent.com, и браузер сотрудника обращается к этим хостам. Данные клиентов туда не попадают. Факт обращения при этом виден. Чтобы закрыть и это, модели кладут на свой сервер, путь задаётся в настройках. Про телеметрию в документации ничего нет, а это ещё не доказательство её отсутствия. Вкладка Network покажет все запросы, проверьте на пилоте.

Закон о персональных данных локальный помощник не отменяет. Обработка по 152-ФЗ включает сбор, хранение, использование и передачу. Сотрудник и так работает с данными как ваш работник, пропадает лишь передача третьему лицу. Как записать это в политике, решает юрист. Близкая тема разобрана в статье про Transformers.js.

Лицензии: проекта и моделей отдельно

Apache 2.0 относится только к библиотеке. Модели идут со своими условиями.

Llama 3.1 и 3.2 работают по Llama Community License. Нужно показывать «Built with Llama» на сайте или в интерфейсе, а при выпуске собственной модели ставить «Llama» в название. Больше 700 миллионов пользователей в месяц требуют отдельной лицензии, вас это вряд ли касается. Использование должно соответствовать закону, включая торговые ограничения, и политике допустимого использования. Она запрещает неавторизованную практику профессий, в том числе юридическую, медицинскую и финансовую. Страны по названиям я в тексте не нашёл. Что это значит для заказчика из РФ, оценивает юрист.

Gemma 2 идёт по Gemma Terms of Use, и её запреты нужно передавать дальше. Gemma 4 по карточке на Hugging Face выпущена под Apache 2.0. Phi-3.5 mini лежит под MIT. У Qwen3 и Mistral 7B v0.3 на Hugging Face указан Apache 2.0, а у Qwen2.5 3B стоит qwen-research, её условия я не читал. Для коммерции проще брать модели под Apache или MIT.

Где это не сработает

Качество. Модель на 2-4 миллиарда параметров слабее облачных сервисов, договор с оговорками она перескажет хуже. Контекстное окно у Llama 3.2 и Qwen3 4B в готовой конфигурации 4096 токенов, длинный документ придётся резать. Результат проверяет человек.

Русский язык. У Llama 3.1 и 3.2 на карточке заявлено 8 языков, русского среди них нет. Qwen3 заявляет больше 100 языков, Qwen3.5 заявляет 201. У Gemma 4 названо больше 35, русский на странице не упомянут. Как каждая справится с вашей лексикой, я не проверял. Возьмите свои обезличенные документы и сравните.

Железо. Старый офисный ПК с интегрированной графикой может не потянуть даже маленькую модель. Часть парка придётся заменить или оставить без помощника.

Что можно сделать уже сейчас

Первое: пилот на 3-5 компьютерах. Страница проверяет WebGPU, грузит Llama 3.2 3B или Qwen3 4B и показывает ход загрузки. За неделю станет видно, у кого работает и с какой скоростью. Подбор под русский разобран в статье какой локальный LLM выбрать.

Второе: узкие задачи вместо умного чата. Пересказать абзац, переписать вежливее, достать из письма имена и суммы в JSON. Режим JSON в WebLLM сделан под такое.

Третье: запасной путь. Тем, у кого видеокарта слабая, открывается помощник на внутреннем сервере, как в статье про RAG на своих документах. Сколько памяти нужно такому серверу, считается в материале про железо для локального ИИ.

Встроить помощника во внутренний портал и собрать сценарии для юристов и бухгалтерии мы умеем, пример: ИИ-помощник для юриста и бухгалтера.

Частые вопросы

Нужен ли интернет для работы?

Для первой загрузки нужен. Потом приложение работает без сети, пока вы не очистили кеш браузера.

Заменит ли это ChatGPT?

Нет. Для черновиков и узких задач хватит, для сложных рассуждений и длинных документов нет.

Можно ли запустить на телефоне?

В config.ts часть моделей помечена как подходящая для слабых устройств, например Android. Я это не проверял.

Коротко о главном

WebLLM под Apache 2.0 даёт сотруднику помощника в его браузере, тексты клиентов не уходят в облако. Веса качаются из сети один раз. Цена вопроса: небольшие модели, слабое железо отсекается, русский язык нужно проверять, а лицензию каждой модели читать отдельно.

Хотите понять, потянут ли ваши компьютеры такого помощника и какие задачи отдать ему первыми? Напишите мне в Telegram кодовое слово «ЛОКАЛЬНО», и мы подберём модель и сценарии под ваш отдел.