Mistral AI представила Voxtral 3 — новое семейство моделей распознавания речи и синтеза речи, а также SDK для голосовых агентов, предназначенный для многошаговых разговоров в режиме реального времени. Модель транскрипции Voxtral Small Transcribe 3 достигает передовых результатов в многоязычной транскрипции, диаризации спикеров и контекстном смещении, поддерживая более 50 языков, тогда как вариант

Mini (4 млрд параметров) обеспечивает быструю транскрипцию по цене $0,0035 за минуту. Версия для работы в реальном времени Voxtral Realtime Transcribe 3 обеспечивает задержку менее 500 мс на более чем 35 языках и включает предсказание конца реплики, что позволяет создавать голосовых агентов с низкой задержкой.

Для синтеза речи Voxtral Mini TTS 3 поддерживает более 35 языков и более 50 диалектов, обладает эмоциональной адаптацией, клонированием голоса по 30 минутам аудио и следованием инструкциям; стоимость составляет $13 за 1 млн символов. SDK для голосовых агентов, построенный на LiveKit, объединяет слушание, рассуждение и речь в единый потоковый конвейер, позволяя агентам выполнять сложные рабочие процессы, такие как запись на приём и проверка личности, с помощью вызова функций и веб-поиска.

Voxtral 3 доступна через API Mistral с хостингом в ЕС или для самостоятельного развёртывания, предоставляя организациям контроль над суверенитетом данных и обработкой аудио.