Текст
Pythia и GPT-NeoX
Полностью открытые модели некоммерческой лаборатории EleutherAI: GPT-NeoX-20B и серия Pythia с опубликованными промежуточными снимками обучения.
- Разработчик
- EleutherAI, США
- Первый выпуск
- фев 2022
- Последний выпуск
- фев 2023
- Размеры
- 70M – 20B
- Лицензия
- Можно в коммерциюApache 2.0
Какие задачи решает
- Базовая модель для дообучения
- Исследование поведения моделей
- Простая генерация и дополнение текста
Где применяется
Исследовательские группыВузыR&D-отделы
Требования к железу
НоутбукНоутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии
подходит1 видеокартаОдна видеокарта на 16–80 ГБ — средние версии
подходитКластерСервер с несколькими видеокартами — флагманские версии
нет версийВерсии
- Pythia (70M – 12B)
- GPT-NeoX-20B
Как внедряю у заказчика
- ПодборВыбираю размер модели под задачу и ваше железо, проверяю на ваших примерах.
- УстановкаРазворачиваю на вашем сервере или в закрытом контуре, отдаю API.
- ДообучениеДообучаю на ваших данных (LoRA) или подключаю базу знаний — что дешевле для задачи.
- ВстраиваниеПодключаю к CRM, 1С, боту, сайту или рабочему чату, настраиваю мониторинг.
Похожие модели
ТекстOLMoAllen Institute for AI (Ai2) · СШАМожно в коммерцию
Полностью открытые модели: опубликованы не только веса, но и данные, код обучения и промежуточные снимки. Удобно, когда важна прозрачность происхождения.
ПодробнееТекстOPTMeta · СШАТолько некоммерческоеРанняя открытая серия Meta, повторяющая по размерам GPT-3. Устарела, полезна для исследований и сравнения.
ПодробнееТекстBLOOMBigScience (Hugging Face и сообщество) · ФранцияКоммерция с условиямиОдна из первых больших открытых моделей, обученная сообществом из сотен исследователей на 46 языках. Сегодня интересна скорее как историческая веха.
Подробнее