Xiaomi представила две новые модели искусственного интеллекта, ориентированные на работу с голосом: MiMo-V2.5-TTS для конвертации текста в речь и MiMo-V2.5-ASR для обработки аудио в текст.

В рамках семейства MiMo-V2.5-TTS насчитываются три варианта: базовый MiMo-V2.5-TTS с минимальными возможностями, где доступен набор предварительно записанных голосов и настройки скорости, тона и эмоциональности; MiMo-V2.5-TTS-VoiceDesign, позволяющий создавать новые тембры голоса по короткой фразе; и MiMo-V2.5-TTS-VoiceClone, предназначенный для воспроизведения заданного голоса по небольшому набору образцов и сохранения согласованности стилевых инструкций.

Для достижения нужного результата можно разметить текст с помощью заданных тегов или просто описать желаемое звучание голосом на естественном языке, а также составлять сценарии для виртуальных постановок с несколькими голосами. Поддерживаются китайский и английский языки.

Открытая MiMo-V2.5-ASR рассчитана на распознавание речи даже в сложных условиях, поддерживает несколько китайских диалектов и английский язык, может генерировать расшифровки двуязычных диалогов, а также распознавать тексты песен, когда вокал звучит вместе с музыкой; особенность — анализ вокала на фоне шума и точная расстановка знаков препинания, что позволяет готовой расшифровке требовать минимального редактирования.