Как это работает: синтез речи

Синтезом речи на сегодняшний день называется технология, способная преобразовывать текстовую информацию в обычную речь. С развитием "умных машин" эта технология становится всё более актуальной, и с каждым днём требует всё большего совершенства. Собственно, на данный момент разработан целый ряд методов синтеза речи, о которых мы и будем говорить.

Синтезаторы речи могут применяться в абсолютно различных сферах, и используются для решения множества задач, начиная от "начитывания" книг, производства "говорящих" детских игрушек, объявления остановок в общественном транспорте или в системах сервисных служб, и заканчивая медициной (тут стоит вспомнить о Стивене Хокинге, пользующемся синтезатором речи для связи с миром).

Итак, рассмотрим подробнее технологию и методы синтеза речи. Как уже упоминалось, существует несколько методов синтеза речи. Таким образом, можно выделить несколько основных подходов:

  • параметрический синтез;
  • конкатенативный (компиляционный) синтез;
  • синтез по правилам (по печатному тексту);

Параметрический синтез позволяет записывать речь для любого языка, однако его нельзя применять для не заданных заранее текстов. Параметрический синтез речи применяют тогда, когда набор сообщений ограничен. Качество же такого метода синтеза может быть очень высоким.

 

По сути дела, параметрический синтез речи - это реализация принципа работы вокодера. В случае параметрического синтеза звуковой сигнал представлен определённым числом непрерывно изменяющихся параметров. Для формирования гласных звуков используется генератор тонального сигнала, для согласных - генератор шума. Но такой метод обычно применяют для записи голоса в музыкальных композициях, и чаще речь идет даже не о чистом синтезе голоса, а, скорее, о модуляции.

Метод компиляционного синтеза основывается на составлении текстов из заранее записанного "словаря" элементов. Размер элемента системы должен быть не менее слова. Обычно запас элементов ограничивается несколькими сотнями слов, а содержание синтезируемых текстов - объёмом словаря. Этот метод синтеза речи широко используется в повседневной жизни - как правило, в различных справочных службах и технике, требующей оснащения системами речевого ответа.

Полный синтез речи по правилам может воспроизводить речь по заранее неизвестному тексту. Этот метод не использует элементов человеческой речи, а базируется на запрограммированных лингвистических и акустических алгоритмах.

Тут также существует своё разделение - можно выделить два подхода к этому методу синтеза. Первый - это формантный синтез речи по правилам, а второй - артикуляторный синтез. Формантный синтез базируется на формантах - частотных резонансах речевой акустической системы. Алгоритм формантного синтеза моделирует работу речевого тракта человека, работающего как набор резонаторов. Сегодня, к сожалению, большинство синтезаторов, работающих исключительно на формантном синтезе, понять без подготовки сложно, но, несомненно, это универсальная и перспективная технология. Артикуляторный метод пытается доработать недостатки формантного путем добавления в модель фонетических особенностей произнесения отдельных звуков.

Также существует технология синтеза речи по правилам, которая использует записанные отрезки естественной речи. Поскольку всё-таки чаще всего применяются компиляционные методы, скажем о них пару слов подробнее.

В зависимости от того, насколько велики "отрывки" речи, используемые для синтеза, выделяют такие типы синтеза:

  • микросегментный (микроволновый);
  • аллофонический;
  • дифонный;
  • полуслоговой;
  • слоговой;
  • синтез из единиц произвольного размера.

Чаще всего используются аллофонический и дифонный методы. Для дифонного метода синтеза речи базовыми элементами являются всевозможные двучленные комбинации фонем, а для аллофонного - сочетания левого и правого контекста (аллофон - вариант фонемы, который обусловлен её конкретным фонетическим окружением). При этом различные типы контекстов объединяются в классы по степени акустической близости.

Преимущество таких систем состоит в том, что они дают возможность синтезировать текст по не заданному заранее тексту, а недостаток - в том, что качество синтезированной речи несопоставимо с качеством речи естественной (на границах сшивки элементов могут возникать искажения). Также весьма трудно управлять интонационными характеристиками речи, так как характеристики отдельных слов могут изменяться в зависимости от контекста или типа фразы.

Впрочем, это всё в теории. На практике, на современном этапе развития, несмотря на активное продвижение в этой области, разработчики технологии синтеза речи всё-таки испытывают некоторые трудности, в основном связанные с искусственностью синтезируемой речи, отсутствием в ней эмоциональной окраски и с низкой помехоустойчивостью.

Дело в том, что любая синтезированная речь, как правило, воспринимается человеком с трудом. Это связано с тем, что пробелы в синтезированном тексте заполняет человеческий мозг, который задействует для этого дополнительные ресурсы, и человек может нормально воспринимать синтезированную речь только около 20 минут.

На восприятие речи также влияет её эмоциональная окраска. В случае с синтезированной речью она отсутствует. Хотя стоит отметить, что некоторые алгоритмы всё же позволяют в некоторой степени имитировать эмоциональную окраску речи путём изменения длительности фонем, пауз и модуляции тембра, но пока их работа далека от идеала.

Что касается третьей названной проблемы - низкой помехоустойчивости, то эксперименты показывают, что восприятию синтезированного текста мешают любые, даже самые небольшие посторонние шумы. Это опять-таки связано с тем, что для обработки синтезированной речи человеческий мозг задействует дополнительные центры, которые не используются при восприятии речи естественной.

В конце этой статьи мне хотелось бы привести некоторые примеры существующих синтезаторов речи.

Всем известны так называемые "читалки" - программы для более удобного чтения текста с монитора. Многие из нах используют программы речевого синтеза для озвучивания текста, например, Balabolka и Govorilka.

Для того чтобы подобные программы озвучивали тексты, необходимо также установить библиотеку SAPI (Speech API) и голосовые движки. Наиболее распространение две версии Speech API: SAPI4 и SAPI5.Обе библиотеки могут работать на одном компьютере. В операционных системах Windows XP, Windows Vista и Windows 7 уже установлены библиотеки SAPI5.

Помимо читалок, распространены программы экранного доступа. Примерами таких программ являются:

VIRGO 4. Программа была создана для комфортной работы слепых и слабовидящих пользователей с Windows. Она позволяет выбрать ту информацию, которая будет произноситься голосом и ту, которая будет показываться на брайлевском дисплее. Для слабовидящих пользователей предусмотрена системой увеличения экрана "Галилео".

Программа Кобра 9.1 также упрощает работу с Windows для слепых и слабовидящих пользователей. Эта программа может выводить выводит информацию с компьютерного монитора с помощью речи, брайлевского дисплея и имеет функцию увеличения экрана.

Absinthium

Версия для печатиВерсия для печати

Рубрики: 

  • 1
  • 2
  • 3
  • 4
  • 5
Всего голосов: 0
Заметили ошибку? Выделите ее мышкой и нажмите Ctrl+Enter!
 

Комментарии

Аватар пользователя Alexandr Severin

С технической точки зрения статья правильная. Но там где автор добавляет от себя начинаются проблемы. Понятно, что человеку, который об этом только слышал, и не пользуется постоянно сложно судить. Поэтому не сочтите за претензии, просто хочу кое-что прояснить.

На самом деле уровень синтезаторов речи достаточно приемлемый. Хотя конечно еще продолжают существовать и те, которые были разработаны 10 - 15 лет назад и, именно они попадаются в сети при поверхностном знакомстве с темой. Но есть и другие, более вменяемые. За 20 минут человек не устает от синтезатора - работаю с синтезаторами 15 часов в сутки. И таких как я много. но даже те люди, которые не такие, как я и мои коллеги, а такие как большинство, с удовольствием слушают например аудиокниги записанные из текстовый файлов с помощью синтезаторов речи. Зачастую актеры, начитывающие аудиокнигу, утомляют человека даже быстрее чем за 20 минут, поэтому синтезаторы с их машинной прямотой и бескомпромиссностью, скорее выигрывают, особенно если вы не эстет, а просто получаете информацию. И программы перечисленные в конце, особенно virgo и cobra, в наших широтах все-таки не так известны, даже в кругах тех, для кого они разработаны. Самой известной из программ экранного доступа является jaws for windows. Эта программа лидер среди других решений. Так же у нас пользуется популярностью и несомненно заслуживает внимания программа экранного доступа nvda. Она позволяет незрячим решать большинство повседневных задач и при этом является свободно распространяемой.

Синтезаторов русской речи существует тоже достаточно много и вполне себе лишенных многих недостатков, которые были им присущи много лет назад, и о которых говорилось в статье. Правда и идеальными их назвать язык тоже не повернется. Но я бы хотел выделить один из синтезаторов речи: RHVoice. Это яркий пример того, как по суди дела один программист может заткнуть за пояс крупные компании. RHVoece, являясь свободно распространяемым, по многим характеристикам(это правда мои субъективные ощущения) превосходит коммерческие продукты от крупнейших производителей, много лет занимающихся разработкой синтезаторов речи.

Аватар пользователя Helen

Благодарю за дополнения!

Аватар пользователя DOMINIC

Полностью соглашусь со сказанным от Северина. И в добавлении сказать надо, что практически ни где не найти программы на С и это как минимально необходимый вариант включая кроссплатформенную Xamarin для синтеза, где и как писать подобные программы не публикуется. Демонстрации даже на иностранных ресурсах не возможно найти. Такое впечатление, что технологии программ синтеза во всех странах, про пьяную и вечно преступную россию и говорить нечего, закрыта от людей творческих, как сверх секретная НОУ ХАУ. Для меня сегодняшняя молодёжь оценивается,как потерянное и не реализованное поколение. Всё только для избранных, очень и очень плачевная ситуация в стране советов настало. 7 миллиардов пожирателей пластика, резины и ГМО= мутанты.