
Meta представила новую модель искусственного интеллекта под названием SeamlessM4T, которая может переводить речь со 101 языка. Этот проект является значительным шагом в создании универсального переводчика, способного в реальном времени обрабатывать устную речь непосредственно в момент ее произнесения.
Традиционные ИИ-модели для перевода используют многоступенчатый процесс: сначала устная речь преобразуется в текст, затем этот текст переводится на другой язык, и после этого текст на новом языке снова преобразуется в устную речь. Этот метод не всегда достаточно эффективен, так как на каждом этапе возможны ошибки, которые могут привести к неточному переводу. Новая модель Meta, SeamlessM4T, осуществляет перевод напрямую и, по утверждению разработчиков, работает на 23% точнее, чем самые продвинутые существующие модели. Google имеет модель AudioPaLM, которая поддерживает 113 языков, но осуществляет перевод только на английский. SeamlessM4T, в свою очередь, переводит со 101 языка на 36.
Ключом к успеху проекта стал процесс параллельного сбора данных: ИИ анализирует сканированные данные в интернете, выявляя совпадения звука или видео с субтитрами на другом языке. Благодаря этому модель научилась сопоставлять звуки на одном языке с соответствующими текстовыми фрагментами на другом. Тем не менее, авторы проекта признают, что участие человека в переводе остается важным, так как человек способен учитывать культурный контекст и обеспечивать адекватную передачу смысла высказывания с одного языка на другой. В таких областях, как медицина или юриспруденция, машинный перевод требует тщательной проверки человеком во избежание недоразумений.
Разработчики SeamlessM4T провели предварительное обучение модели на миллионах часов аудиозаписей разговоров на разных языках. Эта подготовка позволила ИИ выявить общие закономерности между языками, что упростило обработку менее распространенных языков, так как модель уже имела базовое представление о том, как должна звучать речь на этих языках.
Система имеет открытый исходный код, что, по мнению разработчиков, будет способствовать дальнейшему развитию её возможностей другими специалистами.
