9 миллиардов параметров в кармане: что реально помещается в телефон

Раз в пару месяцев появляется новость про то, что серьёзный ИИ теперь помещается в телефон. Обычно за ней стоит настоящая модель и настоящее достижение, а сверху — слой пересказа, в котором цифры уже не те. Разберу свежий случай: что вышло на самом деле, сколько это весит и при каких условиях действительно работает на телефоне.

Что вышло на самом деле

Организация ornith-ai выложила семейство Ornith-1.5. Версия на 9 млрд параметров опубликована под лицензией MIT — то есть коммерческое использование разрешено без оговорок, что для открытых моделей далеко не всегда так.

Контекст — 262 144 токена, это те самые «256 тысяч». С техникой растяжения контекста заявлена работа примерно до миллиона токенов, но с честной оговоркой прямо в карточке: открытые движки применяют растяжение одинаково ко всем запросам, и на обычных коротких вопросах это слегка портит качество. Такую оговорку в карточках пишут редко, и она добавляет доверия ко всему остальному.

Родословная тоже указана прямо: Ornith-1.5 выросла из Ornith-1.0, а та собиралась поверх Qwen3.5 и Gemma4 с дополнительным дообучением. То есть связь с Qwen есть, но это не Qwen и уж точно не «Qwen 3.6» — такой модели в этой истории нет вообще.

Популярность настоящая: почти 3,9 млн скачиваний за месяц. Модель действительно берут.

Сколько это весит и что значит для телефона

Вот здесь начинается арифметика, которую в новостях обычно пропускают. Модель в разных степенях сжатия весит по-разному, и это не абстрактные гигабайты на диске — примерно столько же нужно свободной оперативной памяти, чтобы она работала.

Телефон с 8 ГБ памяти отдаёт приложению далеко не все восемь: система, фон, интерфейс забирают свою часть. Пять с лишним гигабайт под одну модель на таком аппарате не поместятся. На 12 и 16 ГБ — поместятся, но это верхняя полка рынка, и работать оно будет медленно и с нагревом, потому что телефон не рассчитан считать такое долго.

Так что «носить в кармане» — правда, но с уточнением: в кармане с флагманом, ненадолго и не быстро. Это принципиально иная история, чем модель на 3–4 млрд параметров, которая на телефоне живёт спокойно.

Что в новости не сходится

Я сверил пересказ с карточками модели. Три расхождения, и все три меняют смысл.

Заголовок называет не ту модель. «Qwen 3.6» в этой истории нет. Есть Ornith-1.5, выросшая в том числе из Qwen3.5. Разница не придирка: если вы пойдёте искать Qwen 3.6, вы не найдёте ничего.

Версии для iPhone и Android с разной производительностью. В карточке упомянут мобильный вариант — одной строкой, по названию. Ни требований к памяти, ни скорости, ни перечня устройств, ни разделения на платформы там нет. Всё это дописано пересказом.

Мультимодальность. В карточке основной модели есть пример кода с картинкой на входе, но бенчмарки — код и рассуждения, а сборка в формате GGUF, то есть ровно та, которую ставят на телефон, работу с изображениями не даёт. Обещать бизнесу «модель на телефоне понимает фотографии» на этом основании нельзя.

Верным в пересказе оказалось главное число — контекст 256 тысяч токенов. Остальное поехало.

Когда ИИ прямо в телефоне действительно нужен

Сценариев немного, но они настоящие. Первый — нет связи: выездная бригада, склад в подвале, объект за городом. Второй — данные, которые нельзя выпускать наружу вообще: медицинская карта, договор, персональные сведения клиента. Третий — задачи, где ответ нужен постоянно и много, и платить за каждый запрос облаку выходит дороже телефона.

Во всех трёх случаях решает не громкость новости, а вопрос «влезет ли». Для телефона реалистичный размер сегодня — модели на 3–4 млрд параметров: они помещаются, отвечают быстро и не сажают батарею за полчаса. Девятимиллиардная — это уже про ноутбук.

Если задача из этого списка, собрать локальный контур можно и без флагманского телефона: открытый ИИ под ключ.

Как я проверяю такие модели, прежде чем советовать

Открываю первоисточник, а не пересказ. Карточка модели у издателя. Половина расхождений видна за минуту, как в этом случае.

Смотрю лицензию. MIT или Apache — можно в коммерческий проект. Отсутствие файла лицензии или отдельные условия для бизнеса меняют всё.

Считаю вес самой сжатой сборки. Именно она определяет, на чём это запустится. Заявления вида «работает на устройстве» без гигабайтов рядом ничего не значат.

Проверяю, что умеет именно та сборка, которую поставлю. Возможности основной модели и её урезанной версии для телефона совпадают не всегда — с картинками как раз тот случай.

Гоняю на своих данных. Бенчмарки меряют задачи их авторов. Ваш прайс, ваши вопросы клиентов, ваш русский язык — единственная проверка, которая что-то значит.

Смотрю на дату и активность. Модель, вышедшая на прошлой неделе, ещё не прошла проверку временем, и ставить на неё процесс, от которого зависит выручка, рано.

Частые вопросы

Так можно запустить это на моём телефоне или нет?

Если у телефона 12 ГБ памяти или больше — технически да, самую сжатую сборку. Работать будет медленно, аппарат будет греться, батарея сядет заметно быстрее. На 8 ГБ — практически нет.

Чем модель на 9 млрд лучше модели на 3 млрд?

Она заметно сильнее в рассуждениях, коде и длинных задачах. Но для типовых задач вроде ответа по прайсу или разбора короткого текста разница часто не окупает разницы в требованиях к железу.

Что такое эти Q4, Q5, Q8?

Степень сжатия. Чем меньше число, тем меньше файл и тем ниже качество ответов. Q4 — рабочий компромисс для слабого железа, Q8 почти не отличается от несжатой версии, но и весит соответственно.

Лицензия MIT — значит, можно использовать в компании?

Да, MIT разрешает коммерческое использование. Но проверьте лицензию не только модели, но и того движка, через который вы её запускаете, и данных, на которых собираетесь дообучать.

Стоит ли вообще ждать нормального ИИ в телефоне?

Он уже там, просто не такой большой, как в новостях. Модели на 3–4 млрд параметров и зрительные модели на телефоне работают сегодня и решают реальные задачи. Девятимиллиардные подтянутся, когда подтянется память в аппаратах.

Коротко о главном

За новостью стоит настоящая модель: Ornith-1.5-9B, лицензия MIT, контекст 262 144 токена, почти 3,9 млн скачиваний за месяц, честная оговорка про растяжение контекста прямо в карточке. Это хорошая работа. Но между карточкой и заголовком потерялось имя модели, дорисовались версии для iPhone и Android, которых в документации нет, и появилась мультимодальность, которой в телефонной сборке нет тоже. А главное — потерялись 5,78 ГБ, из-за которых «в кармане» превращается «во флагмане, ненадолго».

Что предлагаю конкретно. Если вам нужен ИИ там, где нет связи или нельзя выпускать данные наружу, — опишите задачу и технику, на которой это должно работать. Я скажу, какого размера модель под неё реально нужна, влезет ли она в ваши устройства и что честнее взять вместо телефона. Напишите в Telegram, MAX или VK.