資源受限情況下基于ASR的關鍵詞檢索研究.pdf

1、基于自動語音識別(Automatic Speech Recognition，ASR)的檢索技術是關鍵詞檢索(Spoken Term Detection，STD)的主流技術，資源受限情況下(Limited-resource Conditions)的關鍵詞檢索是當前STD重要的研究方向。本論文針對該領域的一些關鍵技術問題進行研究，主要集中在三個方面:首先在聲學模型訓練方法上進行研究，采用多種途徑提高資源受限情況下的語音識別性能;其次，在不引

2、入過多虛警的情況下，減少資源受限情況下關鍵詞檢索的漏警;最后，提升候選結果的置信度，改善檢索性能。
　　基于ASR的關鍵詞檢索非常依賴于語音識別的性能，而資源受限情況下的ASR的性能非常差，這極大地影響了STD的性能。針對這一問題，本文在聲學模型訓練方法上進行研究，采用多種方法提高ASR系統(tǒng)的識別率。本文中采用主流的深層神經網絡(DNN)來建立聲學模型，首先利用數據驅動的方法自動生成模型訓練所需要的問題集;其次為了緩解因數據不足而

3、造成的過擬合問題，使用跨語種共享隱層的策略來提高DNN的魯棒性;并通過聲道長度擾動(VTLP)和數據加噪等數據擴充的方法，增加訓練數據。最后，采用DNN序列-區(qū)分性訓練(SDT)的方法，如基于最大互信息量(MMI)、最小狀態(tài)級貝葉斯風險(sMBR)等準則，進一步優(yōu)化聲學模型，提高資源受限情況下ASR系統(tǒng)的性能。
　　在STD評估中，漏警和虛警是檢索中常見的兩種錯誤。而在實際的檢索任務中，漏掉一個關鍵詞的代價通常比引入一個虛警的代價

4、要大。因此，對于STD系統(tǒng)，在不引入過多虛警的情況下，有效減少漏警至關重要。本文中，我們對資源受限情況下DNN聲學模型的類概率分布進行研究，提出兩種不同的平滑策略來降低STD的漏警，并采用關鍵詞相關門限的判決方法控制虛警，改善檢索性能。
　　由于ASR不可避免地出現錯誤，STD需要根據候選結果的檢索置信度做進一步的判決。通常情況下，單一系統(tǒng)的檢索置信度可靠性較低，這一問題在資源受限的情況下尤為突出。為此，本文采用不同檢索單元融合及

5、多系統(tǒng)融合的策略，提升候選結果的置信度。在本文中，我們首先研究CN和FST這兩種不同的檢索單元的各自特點并按照不同的檢索詞長度將二者進行融合，各取所長，以提高STD的性能。隨后在多系統(tǒng)融合中，我們將DNN-HMM和BN-GMM-HMM兩種不同的識別系統(tǒng)以及詞、音節(jié)、詞片和音素四種不同的解碼單元進行融合，進一步改善檢索性能。
　　使用這些改進方法，本文在藏語數據庫和NIST OpenKWS2014泰米爾語(Tamil)數據庫上進行了