За последние несколько месяцев команда по машинному обучению в Microsoft Research выпустила набор малых языковых моделей (SLM) под названием «Phi», который демонстрирует высокую производительность в различных тестах.

"Наша первая модель, Phi-1, достигла самой высокой производительности при программировании на Python среди существующих SLM (в частности, в тестах HumanEval и MBPP). Затем мы создали новую модель с 1,3 миллиардами параметров под названием Phi-1.5 с производительностью, сравнимой с моделями в 5 раз больше. Сейчас мы выпускаем Phi-2. Это языковая модель с 2,7 миллиардами параметров, которая демонстрирует выдающиеся способности и современную производительность среди моделей базового языка с менее чем 13 миллиардами параметров. В сложных тестах Phi-2 соответствует или превосходит модели в 25 раз больше благодаря инновациям в масштабировании моделей", - сообщила Microsoft в своем блоге.

Обучение Phi-2 заняло 14 дней на 96 графических процессорах A100. Phi-2 — это базовая модель, которая не подвергалась точной настройке.