發(fā)音器官的運動與聲學(xué)信號之間映射關(guān)系的研究.pdf

1、發(fā)音器官的運動與聲學(xué)信號之間映射關(guān)系的研究AStudyoftheMappingbetweenArticulationsandAcoustics學(xué)科專業(yè)：研究生：指導(dǎo)教師：天津大學(xué)計算機科學(xué)與技術(shù)學(xué)院2015年12月中文摘要建立發(fā)音器官運動與語音信號間的映射關(guān)系對于發(fā)音訓(xùn)練以及言語矯正有著很重要的作用。本文通過語音記錄儀記錄中文六個元音(口J0，巴fJ％2：f)發(fā)音時的語音信號，利用超聲儀記錄發(fā)音時舌頭運動的信息，使用高速攝像頭記錄發(fā)音運

2、動時唇部正面和側(cè)面的信息，從而形成了一個中文元音多模態(tài)語音數(shù)據(jù)庫。本文提出了一個基于深度學(xué)習(xí)框架的發(fā)音器官運動與聲學(xué)信號間的雙向映射方法。利用基于受限玻爾茲曼機的深度自編碼網(wǎng)絡(luò)方法對發(fā)音器官運動信息與聲學(xué)信號進行了特征提取與重構(gòu)。重構(gòu)結(jié)果發(fā)現(xiàn)，對于超聲圖像，基于深度學(xué)習(xí)的特征提取的方法比主成分分析的方法要好；音頻信號也能夠利用深度白編碼網(wǎng)絡(luò)的方法來表征。然后，我們提出了一個基于深度學(xué)習(xí)的框架實現(xiàn)兩者間的映射關(guān)系，該框架是通過深度降噪自編