Текст

Zephyr

Учебные чат-модели Hugging Face на базе Mistral, Gemma и Mixtral с открытым рецептом дообучения. Zephyr 7B Beta показал, что маленькую модель можно «воспитать» до уровня крупных без ручной разметки людьми.

Разработчик
Hugging Face (H4), США
Первый выпуск
окт 2023
Последний выпуск
апр 2024
Размеры
7B – 141B-A35B
Лицензия
Можно в коммерциюMIT (Zephyr 7B), Apache 2.0 (Zephyr 141B); версия на Gemma — Gemma Terms
Поставить на свой сервер Hugging Face GitHub

Какие задачи решает

  • Лёгкий чат-ассистент
  • Образец и отправная точка для своего дообучения
  • Черновики текстов и ответов

Где применяется

ИТ-отдел и R&DОбразованиеМалый бизнес

Требования к железу

НоутбукНоутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии
подходит
1 видеокартаОдна видеокарта на 16–80 ГБ — средние версии
подходит
КластерСервер с несколькими видеокартами — флагманские версии
подходит

Версии

  1. Zephyr ORPO 141B-A35B (Mixtral)
  2. Zephyr 7B Gemma
  3. Zephyr 7B Beta
  4. Zephyr 7B Alpha

Как внедряю у заказчика

  1. ПодборВыбираю размер модели под задачу и ваше железо, проверяю на ваших примерах.
  2. УстановкаРазворачиваю на вашем сервере или в закрытом контуре, отдаю API.
  3. ДообучениеДообучаю на ваших данных (LoRA) или подключаю базу знаний — что дешевле для задачи.
  4. ВстраиваниеПодключаю к CRM, 1С, боту, сайту или рабочему чату, настраиваю мониторинг.

Похожие модели

ТекстOpenChatOpenChat (Университет Цинхуа) · КитайКоммерция с условиями

Дообучения Mistral 7B и Llama 3 8B по методу C-RLFT, которые в 2023–2024 годах догоняли ChatGPT-3.5 при размере 7–8B. Лёгкий универсальный ассистент для слабого сервера.

ПодробнееТекстMistralMistral AI · ФранцияМожно в коммерцию

Европейские модели с упором на скорость. Mixtral — одна из первых открытых моделей на архитектуре «смесь экспертов».

ПодробнееТекстTuluAi2 · СШАКоммерция с условиями

Дообучения Llama от Ai2 с полностью открытым рецептом: данные, код и все промежуточные этапы. Tulu 3 на 405B — одна из самых крупных открыто дообученных моделей; по этому же рецепту делают чат-версии OLMo.

Подробнее