Несколько видеокарт нужны флагманским моделям: тем, что сравнимы по возможностям с лучшими облачными сервисами. Это дорогая конфигурация, и заходить в неё стоит, когда меньшая модель на ваших задачах уже проверена и её не хватило.
Флагманские открытые модели лаборатории Миры Мурати: принимают текст, изображения и аудио. Большие MoE, требуют нескольких видеокарт.
Крупные MoE-модели с очень длинным контекстом (до 1 млн токенов у Text-01 и M3). M3 — мультимодальная, понимает картинки. Лицензии сильно различаются от версии к версии.
xAI выкладывает веса прошлых поколений Grok. Модели очень большие и требуют кластера видеокарт, поэтому на практике их запускают редко.
Открытые веса видеомодели Hailuo от MiniMax. Крупная модель на 33B, делает видео по тексту и картинке, но требует нескольких серверных видеокарт.
Крупная видеомодель на 30B с роликами до 204 кадров. Требует серверного железа, зато открыта под MIT.
Крупная модель под финансовые документы с окном контекста около 131 тыс. токенов: держит длинные отчёты целиком. Не инвестиционная рекомендация: решения принимает специалист.
Крупные оценщики NVIDIA для отбора и дообучения ответов. У мультиязычной версии GenRM в списке языков есть русский. Оценщик сам ошибается и ручную проверку на важных задачах не заменяет.
Главная ошибка здесь — начинать с флагмана. Практика обычно обратная: сначала маленькая модель на одной карте, замер качества на своих примерах, и только если не хватает — переход на старшую. Кластер добавляет не только стоимость железа, но и сопровождение: сеть, охлаждение, обновления, дежурство.
Открытую модель можно поставить на свой сервер: данные не уходят в чужое облако, нет оплаты за каждый запрос, модель можно дообучить на ваших документах.
