語音驅動虛擬說話人研究.pdf

1、語音驅動虛擬說話人技術指的是通過輸入語音信息生成虛擬人面部動畫。不僅提高用戶對語音的理解度，而且提供一種真實、友好的人機交互方式。隨著該技術的發(fā)展進步，勢必為我們帶來更多新的人機交互體驗，極大豐富我們的日常生活。
　　本文采用兩種方案研究語音驅動虛擬說話人動畫合成，并對其進行分析對比。第一種方案，基于深度神經網(wǎng)絡的語音驅動發(fā)音器官運動合成。第二種方案，基于MPEG-4的語音驅動虛擬說話人動畫合成。這兩種方案均需要找到相應的語料庫，

2、并對其進行提取構建出適合本研究問題的聲視覺數(shù)據(jù)。第一種方案:語音的產生與聲道發(fā)音器官的運動直接相關，如唇部、舌頭和軟腭的位置與移動。通過深度神經網(wǎng)絡學習語音特征參數(shù)與發(fā)音器官位置信息兩者之間的映射關系，系統(tǒng)根據(jù)輸入的語音數(shù)據(jù)估計出發(fā)音器官的運動軌跡，并將其體現(xiàn)在一個三維的虛擬人上面。首先，在一系列參數(shù)下對比傳統(tǒng)神經網(wǎng)絡(Artificial Neural Network，ANN)和深度神經網(wǎng)絡(Deep Neural Network，D

3、NN)的實驗結果，得到最優(yōu)網(wǎng)絡;其次，設置不同上下文語音特征參數(shù)長度并調整隱藏層單元數(shù)，獲取最佳的上下文長度;最后，選取最優(yōu)網(wǎng)絡結構，由最優(yōu)網(wǎng)絡輸出的發(fā)音器官運動軌跡信息控制發(fā)音器官運動合成，實現(xiàn)虛擬人動畫合成。第二種方案:基于MPEG-4的語音驅動虛擬說話人動畫合成的方法是一種數(shù)據(jù)驅動方法。首先，本論文從LIPS2008數(shù)據(jù)庫中提取構建出適合本論文的聲視覺語料庫。然后，使用BP(Back Propagation)神經網(wǎng)絡的方法學習語音