基于深度學(xué)習(xí)的語(yǔ)音情感特征學(xué)習(xí)方法研究.pdf

1、作為人類(lèi)情感行為理解的一種基本方式，在過(guò)去的十幾年內(nèi)，語(yǔ)音情感識(shí)別已經(jīng)吸引許多相關(guān)領(lǐng)域研究者的關(guān)注。雖然語(yǔ)音情感特征提取和分類(lèi)器設(shè)計(jì)已經(jīng)取得進(jìn)步，然而由于說(shuō)話人和內(nèi)容的差異，以及環(huán)境擾動(dòng)等因素的影響，設(shè)計(jì)具有魯棒性的語(yǔ)音情感識(shí)別系統(tǒng)仍然是一個(gè)具有挑戰(zhàn)性的問(wèn)題。另外，目前先進(jìn)的語(yǔ)音情感識(shí)別系統(tǒng)都嚴(yán)重依賴于一個(gè)共同的假設(shè)，即訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)來(lái)源于同一種分布。然而在現(xiàn)實(shí)應(yīng)用中，來(lái)自不同域的語(yǔ)音信號(hào)在說(shuō)話人、語(yǔ)言、情感類(lèi)型、錄制環(huán)境以及使用的

2、標(biāo)記方法等方面具有一定差異。因此急需研究容忍說(shuō)話人、說(shuō)話內(nèi)容變化以及環(huán)境因素干擾的顯著情感特征學(xué)習(xí)或提取方法以及語(yǔ)音情感特征遷移學(xué)習(xí)方法。
　　深度學(xué)習(xí)方法能夠從輸入信號(hào)中學(xué)習(xí)出非常有效的信號(hào)的層次非線性表示，并且成功運(yùn)用到語(yǔ)音識(shí)別、圖像理解等相關(guān)領(lǐng)域之中。受此思想的啟發(fā)，對(duì)無(wú)監(jiān)督語(yǔ)音情感特征學(xué)習(xí)方法進(jìn)行分析，并提出基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)音情感顯著特征學(xué)習(xí)方法和基于PCANet的語(yǔ)音情感特征遷移學(xué)習(xí)方法。所學(xué)習(xí)顯著的語(yǔ)音情感特征能夠

3、在復(fù)雜場(chǎng)景下（如說(shuō)話人和語(yǔ)言差異，環(huán)境因素?cái)_動(dòng)等）獲得穩(wěn)定和魯棒的系統(tǒng)性能，并能解決跨庫(kù)引起的域間差異問(wèn)題。具體研究?jī)?nèi)容與創(chuàng)新點(diǎn)如下:
　　1)采用無(wú)監(jiān)督學(xué)習(xí)方法對(duì)語(yǔ)音情感特征進(jìn)行學(xué)習(xí)和分析，采用幾種典型的無(wú)監(jiān)督特征學(xué)習(xí)算法（稀疏自動(dòng)編碼器，稀疏受限玻爾茲曼機(jī)，K均值聚類(lèi)）對(duì)無(wú)標(biāo)注情感樣本進(jìn)行學(xué)習(xí)以發(fā)現(xiàn)與情感相關(guān)的特征。同時(shí)，對(duì)模型所涉及到的參數(shù)如:塊(patch)大小與隱層結(jié)點(diǎn)數(shù)量等超參數(shù)的選擇進(jìn)行詳細(xì)的分析和比較。該部分工作對(duì)

4、語(yǔ)音情感特征的自動(dòng)學(xué)習(xí)和提取具有很好的參考作用。
　　2)提出基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)音情感特征學(xué)習(xí)新方法。該方法分為兩個(gè)階段。第一階段采用無(wú)標(biāo)注樣本訓(xùn)練稀疏自動(dòng)編碼器學(xué)習(xí)得到局部不變特征。在第二階段將局部不變特征作為特征提取器的輸入，并在目標(biāo)函數(shù)中引入體現(xiàn)正交性、顯著性和可區(qū)分性懲罰項(xiàng)。從而將情感無(wú)關(guān)的特征從語(yǔ)音信號(hào)中分離出來(lái)，學(xué)習(xí)得到情感變化相關(guān)的、顯著的語(yǔ)音情感特征。在四個(gè)公開(kāi)數(shù)據(jù)集(SAVEE，Emo-DB，MES，DES)上

5、的實(shí)驗(yàn)結(jié)果表明提出的特征學(xué)習(xí)方法在復(fù)雜環(huán)境下（說(shuō)話人與語(yǔ)言變化，環(huán)境擾動(dòng)等）產(chǎn)生穩(wěn)定和魯棒的特征表示，同時(shí)在識(shí)別準(zhǔn)確率上超過(guò)傳統(tǒng)手工提取的情感特征。
　　3)提出基于PCANet的語(yǔ)音情感特征遷移學(xué)習(xí)新方法。該方法通過(guò)PCANet（一種深度網(wǎng)絡(luò)）嘗試學(xué)習(xí)產(chǎn)生從源域到目標(biāo)域路徑上多種中間特征表示，同時(shí)利用目標(biāo)域特征空間對(duì)路徑上的其他特征空間進(jìn)行矯正以控制它們用一種正確方式往目標(biāo)域靠近。在三個(gè)公開(kāi)數(shù)據(jù)庫(kù)上（源庫(kù):ABC，Emo-DB以