NV Speech Player (Синтезатор речи NV Speech Player)

Движок синтеза речи на основе Клатта, написанный на c++

Автор: NV Access Limited

Примечание по сопровождению

NV Access больше не поддерживает этот проект. Если вы используете этот проект или находите его интересным, и у вас есть время и опыт для его поддержки, пожалуйста, не стесняйтесь форкнуть его и сообщить нам, что вы заинтересованы в его продолжении.

Сюда входит само ядро speechPlayer, а также дополнение nvSpeechPlayer для NVDA, которое также находится в этом репозитории. Обратите внимание, что проект eSpeak-ng/espeak-ng также включает копию кода speechPlayer в качестве альтернативной реализации Klatt.

Обзор

NV Speech Player - это бесплатный прототип синтезатора речи с открытым исходным кодом, который может быть использован NVDA. Он генерирует речь, используя синтез Klatt, что делает его в некоторой степени похожим на такие синтезаторы речи, как Dectalk и Eloquence.

Лицензия и авторские права

NV Speech Player является объектом авторского права (c) 2014 NV Speech Player contributors На NV Speech Player распространяется действие Стандартной общественной лицензии GNU (версия 2). Вы можете свободно распространять или изменять это программное обеспечение любым удобным для вас способом при условии, что оно сопровождается лицензией и вы предоставляете весь исходный код доступен всем желающим. Это относится к как к оригинальным, так и к модифицированным копиям этого программного обеспечения, а также к любым производным работы. Для получения более подробной информации вы можете ознакомиться с лицензией в Интернете по адресу: http://www.gnu.org/licenses/old-licenses/gpl-2.0.html

Предыстория

В 70-х и 80-х годах прошлого века проводилось множество исследований в области синтеза речи. Одной из наиболее заметных моделей синтеза был формантно-частотный синтез, известный как синтез Клатта. Среди известных синтезаторов Клатта - Dectalk и Eloquence. Они хорошо подходят для использования слепыми, так как очень отзывчивы, их произношение плавное и предсказуемое, а также они занимают мало места в памяти. Однако вскоре исследователи перешли к другим формам синтеза, таким как конкатенационная речь, поскольку, хотя она и была медленнее, но была гораздо ближе к человеческому голосу. Это было преимуществом для использования в обычных приложениях, таких как GPS-навигаторы или телефонные системы, но не всегда было преимуществом для слепых, которым важнее отзывчивость и предсказуемость, а не красота.

Хотя такие синтезаторы, как Dectalk и Eloquence, поддерживались и были доступны в течение почти 20 лет, теперь их становится все труднее достать, поскольку многие компании заявили, что эти синтезаторы и их варианты закончили свой жизненный цикл и больше не будут обновляться.

Конкатенативный синтез начинает подавать надежды в качестве замены, поскольку улучшается отзывчивость и плавность. Однако большинство, если не все синтезаторы приемлемого качества, являются коммерческими и стоят довольно дорого.

И Dectalk, и Eloquence были коммерческими продуктами с закрытым исходным кодом. Однако сообществу доступен значительный объем исходного кода и исследовательских материалов по синтезу Клатта. NV Speech Player пытается воспользоваться этим преимуществом, представляя собой современный прототип синтезатора Klatt, в надежде стать заменой таким синтезаторам, как Dectalk или Eloquence, или, по крайней мере, возобновить исследования и разговоры вокруг этого метода синтеза.

Синтезатор eSpeak, который сам по себе является бесплатным продуктом с открытым исходным кодом, хорошо зарекомендовал себя в качестве замены для определенного числа людей в сообществе, но многие люди, которые слышат его, очень быстро отмечают его «металлический» звук и, похоже, не могут продолжать использовать его. Хотя авторы NV Speech Player по-прежнему предпочитают eSpeak в качестве своего синтезатора, они все еще надеются попытаться лучше понять это странное сопротивление eSpeak, которое может быть как-то связано со спектральным частотным синтезом eSpeak в отличие от синтеза Клатта. Это также может быть связано с тем, что согласные также собираются из записанной речи и поэтому могут восприниматься как вкрапления в речевой поток.

Реализация

Сам движок синтеза написан на C++ с использованием современных идиом, но в точности повторяет реализацию klsyn-88, найденную на http://linguistics.berkeley.edu/phonlab/resources/.

eSpeak используется для разбора текста на фонемы, представленные в IPA, используя существующую обработку словаря eSpeak. eSpeak можно найти по адресу: http://espeak.sourceforge.net/.

Данные о формантах Клатта для каждой отдельной фонемы были собраны в основном из проекта под названием PyKlatt: http://code.google.com/p/pyklatt/. Однако они были доработаны на основе тестирования и сопоставления с собственными данными eSpeak.

Правила для длины фонем, пробелов, скорости и интонации были написаны вручную на Python, хотя собственные интонационные данные eSpeak старались копировать как можно чаще.

Создание проигрывателя NV Speech Player

Вам понадобятся:

• Python 3.7: http://www.python.org
• SCons 3: http://www.scons.org/
• Visual Studio 2019 Community

Для сборки: запустите scons

После сборки в корневом каталоге появится файл nvSpeechPlayer_xxx.nvda-addon, где xxx - ревизия git или hardcoded номер версии. Установка этого дополнения в NVDA позволит вам использовать синтезатор Speech Player в NVDA. Обратите внимание, что все необходимое находится в дополнении, никаких дополнительных dll или файлов копировать не нужно.

• NvSpeechPlayer-V.2020.1.nvda-addon
• NvSpeechPlayer-V.2014.6.4.nvda-addon