Bonsai 2 27B: модель на 27 млрд параметров в 5,9 ГБ — что это значит для бизнеса

Сжатая модель — это та же нейросеть, у которой веса упакованы с меньшей точностью, чтобы файл стал в несколько раз меньше и влез в доступную память. Новость сентября: команда PrismML выложила Bonsai 2 27B — сверхсжатую версию Qwen3.8 27B. Разберу, что стоит за этой цифрой, что обычно теряется при сжатии и что это меняет для компании, которая думает о своей нейросети на своём железе.

Что известно из новости

По описанию разработчиков, размер упал с 54 до 5,9 ГБ, примерно в девять раз. Заявлено, что сохранено 98% среднего результата оригинала на бенчмарках. Модель мультимодальная, то есть понимает не только текст, сильна в программировании, поддерживает контекст 262K токенов и может работать локально на пользовательском железе. Коллекция выложена здесь: Bonsai 2 на Hugging Face.

Всё перечисленное — заявления авторов, и это нормально: так устроен любой релиз. Но между «заявлено» и «работает у вас» лежит проверка, и её никто за вас не сделает.

Что такое сжатие модели простыми словами

Нейросеть — это огромная таблица чисел, которые называют весами. Обычно каждое число хранится с высокой точностью и занимает несколько байт. Квантование — это когда точность намеренно снижают: вместо длинного числа записывают короткое. Отсюда и падение размера. Современные методы идут дальше округления: смотрят, какие веса важны для качества ответа, и сжимают их бережнее.

Что обычно теряется? Точность в мелочах: модель путает цифру, теряет отрицание, искажает формулировку из документа. Длинные рассуждения: чем больше шагов в цепочке, тем заметнее накапливается ошибка. Редкие языки и узкие домены: там, где данных и так было мало, сжатие бьёт первым. Это не значит, что сжатая модель плохая. Это значит, что деградация неравномерна, а среднее по бенчмаркам её прячет.

Почему 5,9 ГБ — это поворот для малого бизнеса

Раньше разговор о своей модели уровня 27B упирался в железо. Полная версия на 54 ГБ требует серверной видеокарты или связки из нескольких: отдельная закупка, стойка, счета за электричество. Для компании из десяти человек такой разговор заканчивался, не начавшись.

5,9 ГБ меняют картину. Такой объём помещается в обычную игровую видеокарту из магазина. А если её нет — модель запустится прямо в оперативной памяти рабочего компьютера, просто медленнее. Порог входа падает с «нужен сервер» до «нужен нормальный системный блок». Как считать железо, я разбирал в статье сколько железа нужно локальному ИИ, а выбор модели — в какой локальный LLM выбрать.

Мультимодальность и контекст 262K на практике

Мультимодальность означает, что модель работает не только с текстом. На практике это снимает целый класс ручной работы: скриншот интерфейса с ошибкой отдаёшь как есть, не переписывая текст руками. Скан документа не нужно прогонять через отдельную программу распознавания — модель видит страницу целиком, вместе с таблицей и подписями.

Контекст 262K токенов — это объём, который модель держит в голове за один раз. В такое окно влезает договор на сотню страниц с приложениями или переписка по проекту за несколько месяцев. Вопрос «что мы писали в третьем приложении про сроки» перестаёт требовать поиска по папкам. Оговорка стандартная: большое окно и хорошая работа с большим окном — разные вещи. Многие модели формально принимают длинный документ, но качество проваливается в середине текста.

Как я проверяю такие модели перед использованием

Схема у меня одна и не зависит от громкости релиза. Сначала смотрю, кто автор, какая исходная модель взята за основу, описан ли метод сжатия, под какой лицензией всё выложено. Скачиваю только файлы весов, без сопроводительных скриптов и «установщиков». Первый запуск — в изолированной среде: отдельная машина или виртуалка, без доступа к рабочей сети и документам.

Дальше сравнение в лоб. Один и тот же набор своих задач прогоняю через сжатую версию и через официальную полную — одинаковые запросы, одинаковые настройки. Задачи беру из реальной работы: код, который я могу проверить сам, разбор пары договоров, извлечение фактов из писем. Отдельно замеряю скорость на своём железе: сколько токенов в секунду, сколько ждать первого слова, что будет при трёх запросах сразу. И обязательно длинные документы: кладу нужный факт в середину стостраничного файла и смотрю, найдёт ли модель его там же, где нашла бы в начале. Именно здесь сжатые версии обычно и сыплются. Похожую схему я описывал, разбирая другой громкий релиз — модель без цензуры локально.

Что заявлено и что я проверяю сам

Где такую модель стоит применять, а где я бы не стал

Хорошие сценарии — те, где ошибка видна и стоит дёшево. Помощник по документам на своём сервере: сотрудник спрашивает по базе договоров и инструкций, получает ответ со ссылкой на источник и может проверить. Разбор входящих писем: модель сортирует поток и предлагает категорию, человек подтверждает. Черновики кода: разработчик получает заготовку и доводит её сам. Сжатие тут почти не мешает, потому что рядом есть человек, который смотрит на результат.

Где я бы не стал: юридические и медицинские выводы без человека, расчёты, уходящие в документы без проверки, любые автоматические действия с деньгами. Не потому что модель плохая, а потому что цена ошибки несимметрична.

И честно про главную цифру. 98% на бенчмарках — это среднее по чужим задачам. На ваших документах, вашей терминологии и вашем языке разрыв может оказаться и меньше, и заметно больше. Проверяется это за вечер сравнением на своих примерах. Как устроен такой контур целиком, показываю в приватном ИИ на сервере компании.

Частые вопросы

Bonsai 2 27B — это то же самое, что Qwen3.8 27B?

Это сжатая версия той же модели от PrismML: архитектура та же, но веса упакованы плотнее. Насколько это сказывается на ваших задачах, показывает только прямое сравнение с полной версией.

Правда ли, что качество падает всего на 2%?

По заявлению разработчиков, сохранено 98% среднего результата на бенчмарках. Слово «среднего» ключевое: на одних типах задач разрыва почти нет, на других он заметно больше. Переносить эту цифру на свой сценарий без проверки я бы не стал.

Хватит ли обычного офисного компьютера?

5,9 ГБ влезут в видеокарту среднего уровня, а при её отсутствии — в оперативную память. Запустится почти везде, вопрос в скорости. Для одного пользователя приемлемо, для отдела нужен отдельный компьютер или сервер.

Можно ли загружать в неё договоры компании?

Если модель работает локально, документы не уходят наружу — в этом и смысл. Но доступ к папкам и журнал запросов всё равно нужно настроить, иначе приватность останется на словах.

Стоит ли ждать сжатые версии других моделей?

Направление развивается, и каждый такой релиз снижает порог входа для небольших компаний. Подход к оценке не меняется: смотреть на автора, метод и результат на своих задачах, а не на заголовок новости.

Коротко о главном

Bonsai 2 27B — модель на 27 миллиардов параметров в 5,9 ГБ вместо 54. Заявлены сохранение 98% среднего результата, мультимодальность, сила в коде и контекст 262K. Если это подтвердится на практике, порог входа в собственную нейросеть падает с серверной стойки до обычного системного блока.

При этом сжатие всегда чем-то платит: точностью в мелочах, длинными рассуждениями, редкими языками. Правило простое: сравнить с полной версией на своих задачах, замерить скорость на своём железе, проверить длинные документы — и только потом ставить в работу.

Если нужна своя нейросеть на сервере компании — подберу модель под ваше железо, разверну контур с поиском по вашим документам, настрою доступы по ролям и покажу честное сравнение вариантов. Напишите в Telegram, MAX или VK.