StarCoder или Code Llama: какую базу брать для дообучения

Обе линейки давно не обновляются: последние релизы апрель 2024 и январь 2024, поэтому сегодня их чаще берут как базу для дообучения, чем как рабочую модель. StarCoder начинается с 1B, запускается на процессоре и обучена на открытом наборе исходников с возможностью исключить свой репозиторий; лицензия BigCode OpenRAIL-M разрешает коммерцию, но со списком запрещённых применений. Code Llama — это Llama 2, доученная на коде: размеры от 7B до 70B, нужна видеокарта, лицензия Llama 2 Community License с ограничениями, зато вокруг много готовых дообученных версий и инструментов. Русский язык в каталоге не отмечен ни у одной из них.