Alibaba выпустила сверхкомпактную языковую модель MNN-Pocket-0.3B, которая занимает всего 173 МБ и способна работать непосредственно на смартфоне без обращения к облачным серверам. Несмотря на небольшой размер, она показала результаты выше ряда более крупных моделей, в том числе Qwen3-0.6B.

MNN-Pocket-0.3B разработала команда MNN, занимающаяся инструментами для запуска ИИ на обычных устройствах. Модель содержит около 300 млн параметров, понимает китайский и английский языки, отвечает на вопросы, выполняет инструкции и работает с текстом. За счет четырехбитного сжатия ее размер удалось сократить до 173 МБ почти без потери качества. Для сравнения, у Qwen3-0.6B количество параметров примерно вдвое больше.

В тестах на реальном оборудовании модель продемонстрировала высокую скорость генерации текста. На iPad Pro с чипом M5 она выдавала до 466 токенов в секунду при использовании графического ускорителя, а на Snapdragon 8 Gen 5 — 251 токен в секунду на процессоре и 138 токенов в секунду на графическом ускорителе. Такая производительность позволяет получать ответы почти мгновенно, не отправляя запросы на удаленный сервер.

В 11 бенчмарках, охватывающих знания, программирование, математику и выполнение инструкций, MNN-Pocket-0.3B в среднем набрала 50 баллов. Сжатая INT4-версия показала результат 49,59 балла, тогда как Qwen3-0.6B получила 44,28 балла, а MiniCPM4-0.5B — 46,81. Особенно заметно преимущество в следовании инструкциям: в тесте IFEval модель набрала 73,2 балла против 56,93 у Qwen3-0.6B.

При этом разработчики не советуют применять MNN-Pocket-0.3B для сложных математических рассуждений и масштабных задач по программированию. Модель ориентирована прежде всего на быструю локальную работу на мобильных устройствах.

MNN-Pocket-0.3B рассчитана на небольших ИИ-помощников, обработку текста и простую автоматизацию. Она поддерживает контекст до 32 000 токенов.

Модель уже доступна с открытым кодом и весами по лицензии Apache 2.0. Запустить ее можно через MNN, llama.cpp или Transformers.