雙模態(tài)漢語情感語音合成的研究.pdf

1、以清晰自然的合成語音,準確生動地傳達語義信息是新一代語音合成系統(tǒng)所追求的目標。雙模態(tài)情感語音合成的主要任務是,通過建立虛擬人臉模型,使計算機在合成語音的同時生成富有情感表現(xiàn)力的視覺信息。雙模態(tài)語音合成和語音識別是人機語音交互所需的兩項關鍵技術,在信息處理領域有著重要的應用價值。
　　 本文的主要研究內容有三維人臉建模和渲染、三維動畫驅動方法、漢語情感韻律特征建模和基于基音同步疊加算法的語音合成。
　　 人臉建模方面,完成

2、了VRML模型解析和基于OpenGL的渲染。所用模型由7個人臉部件組成,共包含6435個頂點和12280個面。該模型在同類相關研究中復雜度較高,對人臉細節(jié)的刻確更為逼真。
　　 對比研究了參數(shù)控制和數(shù)據驅動兩種三維動畫驅動方法。通過改進控制參數(shù)的采集方式,解決了齒、舌、喉等器官的運動問題。在基于MPEG-4標準的FAP參數(shù)控制法中,采用徑向基函數(shù)和升余弦函數(shù)控制唇動和表情變化。在基于關鍵幀插值的數(shù)據驅動法中,使用三次多項式插值法

3、,對視素幀和表情幀進行空間矢量加權,生成融合后的動畫幀。結果表明,FAP參數(shù)法可以實現(xiàn)細微的表情和唇形變化;數(shù)據驅動法通過融合多個關鍵幀可以快速產生新的表情種類。
　　 為提高合成語音自然度,準確表達情感信息,對基于波形拼接的語音合成系統(tǒng)進行了改進。在系統(tǒng)前端加入基于人工神經網絡的韻律預測模型,后端加入基于PSOLA算法的韻律修改模型。合成階段使用基于決策樹和代價函數(shù)相結合的基元選擇法。仿真結果顯示,合成的語音感情色彩明顯,經過