Компания Stability AI, известная благодаря своей популярной нейросети Stable Diffusion, презентовала музыкальную ИИ-модель под названием Stable Audio Open Small. Эта модель генерирует аудио в стереозвучании и может функционировать на смартфонах без подключения к интернету.

Разработка прошла в сотрудничестве с производителем чипов Arm, чьи процессоры используются в большинстве мобильных устройств, что позволяет модели быстро создавать качественное аудио даже на устройствах с ограниченными вычислительными ресурсами. В отличие от конкурентов, таких как Suno и Udio, которые требуют облачной обработки, Stable Audio Open Small работает локально.

Как отмечает TechCrunch, обучение модели проводилось исключительно на данных из бесплатных аудиобиблиотек, таких как Free Music Archive и Freesound, что снижает риски нарушения авторских прав и выделяет её на фоне других ИИ-сервисов, использующих защищенный контент.

Модель включает 341 миллион параметров и оптимизирована для процессоров Arm, предназначена для быстрой генерации коротких аудиосэмплов и звуковых эффектов, таких как ударные и инструментальные партии. По заявлениям Stability AI, на смартфоне ИИ способен создать 11-секундный аудиотрек менее чем за восемь секунд.

Однако у Stable Audio Open Small есть определённые ограничения. Она понимает текстовые запросы только на английском языке, не может создавать реалистичный вокал или сложные музыкальные композиции. Также компания признаёт, что, поскольку модель обучалась преимущественно на западно-ориентированных данных, она лучше справляется со стилями, характерными для западной музыки.

Кроме того, существуют ограничения по условиям использования. ИИ-модель доступна бесплатно для исследователей, любителей и малого бизнеса, но если годовой доход компании превышает 1 миллион долларов, требуется покупка коммерческой лицензии. Хотя для инди-разработчиков такие условия являются выгодными, для крупных проектов это может представлять определённые трудности.