Текст

Pythia и GPT-NeoX

Полностью открытые модели некоммерческой лаборатории EleutherAI: GPT-NeoX-20B и серия Pythia с опубликованными промежуточными снимками обучения.

Последняя открытая версия вышла в фев 2023. Семейство давно не обновлялось: это не значит, что модель не работает, но свежих исправлений и новых размеров ждать не стоит.

Разработчик
EleutherAI, США
Первый выпуск
фев 2022
Последний выпуск
фев 2023
Размеры
70M – 20B
Лицензия
Можно в коммерциюApache 2.0
Русский язык
Нет
Запуск
Через свой серверРаботает и без видеокарты
Сферы
Наука, Образование
Поставить на свой сервер Hugging Face GitHub

Какие задачи решает

  • Базовая модель для дообучения
  • Исследование поведения моделей
  • Простая генерация и дополнение текста

Где применяется

Исследовательские группыВузыR&D-отделы

Требования к железу

НоутбукНоутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии
подходит
1 видеокартаОдна видеокарта на 16–80 ГБ — средние версии
подходит
КластерСервер с несколькими видеокартами — флагманские версии
нет версий

Версии

  1. Pythia (70M – 12B)
  2. GPT-NeoX-20B

Как запустить

На своём сервереВеса скачиваются с Hugging Face, запуск — через vLLM (нагрузка и API) или llama.cpp (скромное железо). Так модель работает в закрытом контуре, без оплаты за запросы.Hugging Face
Сколько нужно железаПосчитайте видеопамять под нужный размер модели, контекст и число одновременных запросов.Открыть калькулятор железа

Ставлю и настраиваю под ключ: подберу размер модели, разверну на вашем сервере, подключу к вашим системам.

Частые вопросы

Можно ли использовать Pythia и GPT-NeoX в коммерческом проекте?

Да. Лицензия: Apache 2.0. Это разрешает коммерческое использование, но перед запуском лицензию всё равно стоит показать юристу.

Какое железо нужно для Pythia и GPT-NeoX?

Минимум: Ноутбук или обычный ПК, до 8 ГБ видеопамяти — младшие версии. Есть версии, которые работают и без видеокарты, на обычном процессоре. Точный объём видеопамяти под ваш размер модели и контекст можно посчитать в калькуляторе железа.

Поддерживает ли Pythia и GPT-NeoX русский язык?

Нет. В документации разработчика языки перечислены, русского среди них нет. Для русских задач лучше взять модель из подборки «Открытые ИИ-модели с русским языком».

Где скачать Pythia и GPT-NeoX и сколько это стоит?

Веса Pythia и GPT-NeoX лежат в открытом доступе и скачиваются бесплатно. Платить нужно только за железо, на котором модель работает, и за настройку. Ссылки на первоисточник — в конце страницы.

Как внедряю у заказчика

  1. ПодборВыбираю размер модели под задачу и ваше железо, проверяю на ваших примерах.
  2. УстановкаРазворачиваю на вашем сервере или в закрытом контуре, отдаю API.
  3. ДообучениеДообучаю на ваших данных (LoRA) или подключаю базу знаний — что дешевле для задачи.
  4. ВстраиваниеПодключаю к CRM, 1С, боту, сайту или рабочему чату, настраиваю мониторинг.

Похожие модели

ТекстOLMoAllen Institute for AI (Ai2) · СШАМожно в коммерцию

Полностью открытые модели: опубликованы не только веса, но и данные, код обучения и промежуточные снимки. Удобно, когда важна прозрачность происхождения.

ПодробнееТекстOPTMeta · СШАТолько некоммерческое

Ранняя открытая серия Meta, повторяющая по размерам GPT-3. Устарела, полезна для исследований и сравнения.

ПодробнееТекстBLOOMBigScience (Hugging Face и сообщество) · ФранцияКоммерция с условиями

Одна из первых больших открытых моделей, обученная сообществом из сотен исследователей на 46 языках. Сегодня интересна скорее как историческая веха.

Подробнее

Источник: huggingface.co/EleutherAI/pythia-12b. Данные сверены с карточкой модели 22.09.2026. Лицензию перед коммерческим запуском проверьте с юристом.