Эти модели ведут разговор голосом: слушают собеседника и отвечают речью без отдельной цепочки из распознавания, текста и озвучки. На них строят голосовых ботов для звонков и ассистентов в приложениях. Смотрите на задержку ответа, поддержку русского, лицензию и требования к видеокарте.
Модели NVIDIA для агентов и рассуждений, заточенные под быстрый запуск на её видеокартах. Nemotron 3 это гибрид Mamba и MoE от 4B до 550B; Nano Omni разбирает видео, аудио и картинки (только английский). Новая Nemotron 3.5 Super VL (120B, активны 12B, контекст до 1 млн токенов) читает текст, картинки и видео до двух минут, упор на документы и агентов; сжатая Bolt (74B, активны 9B) умещается в 24 ГБ видеопамяти. Языки Super VL: английский, испанский, французский, немецкий, итальянский, японский. Dory 1.0 (4B, контекст до 256 тысяч токенов, английский) прогоняет один и тот же блок слоёв несколько раз, и число проходов можно менять под задачу: больше проходов даёт больше точности без новой модели и без длинных рассуждений в тексте.
Маленькие модели решений: по тексту, картинке или голосовой записи отвечают «да или нет», выбирают вариант или ставят оценку за один проход, текст не пишут. d1-3B видит картинки, d1-omni-600M ещё и слышит речь до 30 секунд. Русский заявлен. Открытые d1-2B (текст, картинки и видео, на базе LFM3-VL-2B) и d1-Omni-2B (ещё и звук) решают за миллисекунды, по замерам авторов 5,7 мс на H100; кроме выбора ответа они вытаскивают текст, числа и даты с позициями и находят объекты на картинке. Это не чат-модель.
сортировка обращений и заявок по отделам
проверка фото на браке или нарушении по списку вопросов
Модели новой архитектуры для работы прямо на устройстве: быстрые на обычном процессоре и в телефоне. Есть версии для извлечения данных, RAG и инструментов, а также LFM2.5-VL для картинок и голосовая LFM2.5-Audio. Старшая LFM2.5-24B-A2B (2,45B активных, контекст 131 тысяча токенов, русский в списке языков) всегда рассуждает перед ответом и рассчитана на быстрых агентов на устройстве. В октябре вышло поколение LFM3 на новой трёхгибридной архитектуре: LFM3-1.7B для локальных агентов (контекст 256 тысяч токенов, около 1 ГБ памяти в 4 бита, предобучена на 22 трлн токенов), LFM3-VL-2B для картинок, LFM3-Audio-2B для речи и LFM3-Omni-2B, который понимает текст, картинки, видео и звук, а отвечает текстом и речью. Для сложного кода и многошаговых рассуждений авторы её не рекомендуют.
Крупнейшая открытая модель Meta: 816B параметров, на каждый токен работают 42B, контекст 1 миллион токенов. Понимает текст, картинки, видео и звук, отвечает текстом. Создана для программирования и длинных агентных задач. Обучена на данных более чем на 100 языках. Доступ к весам на Hugging Face выдаётся вручную.
агент для работы с кодом и длинными задачами с вызовом инструментов
разбор скриншотов, графиков, документов, видео и записей
Одна компактная модель превращает страницу документа, график, блок-схему, геометрический чертёж, аудио или видео в структурированный JSON: с координатами блоков, таблицами, формулами, расшифровкой речи и временными метками.
разбор сканов и PDF с таблицами и формулами
перевод графиков и блок-схем в таблицу или диаграмму
Модели решений: не пишут текст, а читают ситуацию (текст, JSON, картинку, кадры видео, а у Clef-Omni ещё и звук) и за один проход возвращают вероятность каждого варианта ответа на типизированные вопросы «да или нет», «выбери один» и «оцени по шкале». Вместо разбора свободного текста агент получает готовые числа.
сортировка обращений и заявок по категориям с вероятностью
проверка документа или фото по списку вопросов (всё ли указано, есть ли нарушение)
выбор следующего шага агентом без разбора текстового ответа
MoE-модели StepFun, рассчитанные на быструю и дешёвую работу: при 196 млрд параметров Step-3.5/3.7-Flash задействуют около 11 млрд на токен. Есть компактные Step3-VL-10B для картинок и голосовая Step-Audio 2 mini. Флагман Step 5 Preview (600B, активны 27B, контекст до 1 млн токенов, текст и картинки на входе) создан для агентов, программирования и финансовых задач.
Открытые модели Сбера, обученные с упором на русский язык: хорошо пишут и понимают по-русски, знают местные реалии. Есть лёгкая 10B-A1.8B и флагманы до 702B, всё под MIT. GigaChat3.1-Audio понимает звук и записи до двух часов, GFusion — быстрая диффузионная версия для текста.
Русскоязычный ассистент для сотрудников на своём сервере
Открытые модели перевода на базе Qwen3.5: текст на 150 языков с глоссарием и инструкциями, субтитры, речь в речь, дубляж под число слогов и перевод целых книг за один проход.
перевод текста с глоссарием и сохранением разметки
Модели Xiaomi для рассуждений и агентов: от компактной MiMo-7B до MiMo-V2.6-Pro на 1,02 трлн параметров. Старшие версии понимают текст, картинки, видео и звук, контекст — 1 млн токенов. Языки: английский и китайский.
Крошечные модели понимания звука для смартфона: слушают речь, музыку и звуки вокруг и отвечают текстом — описывают запись и отвечают на вопросы о ней. Работают прямо на устройстве, вопросы и ответы — на английском: других языков в обучающих данных нет.
Модели Meituan (крупнейший сервис доставки Китая). LongCat-Flash динамически меняет объём вычислений под сложность запроса; LongCat-2.0 — 1,6 трлн параметров под MIT. Есть омни-модели (Flash-Omni, Next) и синтез речи AudioDiT.
Небольшая модель, которая видит, слышит и отвечает голосом в реальном времени, может клонировать голос. Голосовой диалог на английском и китайском, текст — на 30+ языках.
Голосовой ассистент, который слушает и говорит одновременно, без задержки на распознавание и синтез. Hibiki — синхронный перевод речи в речь между несколькими европейскими языками.
Голосовой собеседник на основе Moshi, который слушает и говорит одновременно, позволяет себя перебивать. Роль задаётся текстом, голос — образцом записи. Только английский.
Русскоязычные дообучения открытых моделей (Mistral, Qwen, Llama) от независимой команды Vikhr: улучшают русский язык, есть компактные версии для обычного ПК. Borealis — аудио-модель для распознавания и понимания русской речи.
Универсальная аудиомодель: распознаёт речь, отвечает на вопросы о звуке, определяет эмоции и ведёт голосовой диалог. Обучена на 13 млн часов аудио, языки — английский и китайский.
Открытую модель можно поставить на свой сервер: данные не уходят в чужое облако, нет оплаты за каждый запрос, модель можно дообучить на ваших документах.
ПодберуМодель и размер под задачу и бюджет на железо
ПоставлюНа ваш сервер или в закрытый контур, с API
