漢語(yǔ)語(yǔ)音識(shí)別文本的自動(dòng)糾錯(cuò)研究.pdf

1、自然語(yǔ)言處理已歷時(shí)三十年了，熱潮莫過(guò)于機(jī)器翻譯。機(jī)器翻譯的熱潮過(guò)去后，逐漸進(jìn)入平靜、現(xiàn)實(shí)的務(wù)實(shí)階段。近期人們將目標(biāo)定在資料整理、因特網(wǎng)上檢索、摘要、過(guò)濾以及限定應(yīng)用領(lǐng)域的人機(jī)對(duì)話(huà)、語(yǔ)言服務(wù)等方面。本文介紹漢語(yǔ)語(yǔ)音識(shí)別文本自動(dòng)糾錯(cuò)的研究。 漢語(yǔ)語(yǔ)音識(shí)別技術(shù)己發(fā)展到一定階段，但連續(xù)漢語(yǔ)語(yǔ)音識(shí)別的效果離實(shí)用還有一定差距，表現(xiàn)之一是識(shí)別文本含錯(cuò)多。 目前，學(xué)術(shù)界尚未明確提出語(yǔ)音識(shí)別文本的自動(dòng)糾錯(cuò)技術(shù)。從形式上看，語(yǔ)音識(shí)別文本的自

2、動(dòng)糾錯(cuò)也可以看成是文本自動(dòng)校對(duì)技術(shù)在語(yǔ)音輸入方面的應(yīng)用。文本自動(dòng)校對(duì)技術(shù)研究漢語(yǔ)輸入(鍵盤(pán)、OCR)的自動(dòng)查錯(cuò)和糾錯(cuò)。但無(wú)論現(xiàn)象和原因，語(yǔ)音輸入出錯(cuò)都比鍵盤(pán)、OCR復(fù)雜，語(yǔ)音識(shí)別錯(cuò)誤的恢復(fù)繞不開(kāi)對(duì)語(yǔ)音識(shí)別系統(tǒng)所用語(yǔ)言模型的研究。所以本質(zhì)上，語(yǔ)音識(shí)別文本的自動(dòng)糾錯(cuò)屬于語(yǔ)音識(shí)別后處理過(guò)程。本文雖題為文本糾錯(cuò)，但不拘泥于文本層面，而是深入到語(yǔ)音識(shí)別系統(tǒng)內(nèi)部，從語(yǔ)音識(shí)別系統(tǒng)所用語(yǔ)言模型的角度研究出錯(cuò)和糾錯(cuò)。本文的工作，也圍繞語(yǔ)言模型和文本校對(duì)兩

3、條主線(xiàn)展開(kāi)。 本文以主流產(chǎn)品——IBM公司的ViaVoice98中文連續(xù)語(yǔ)音聽(tīng)寫(xiě)系統(tǒng)和ViaVoiceTelephony電話(huà)語(yǔ)音識(shí)別系統(tǒng)作為研究系統(tǒng)實(shí)例。前者用于通用領(lǐng)域文本的輸入，后者用于限定領(lǐng)域(交通查詢(xún))的信息提取?？紤]到目標(biāo)的難度，用特定人和新聞稿測(cè)試前者，以獲得較高的文本正確率和糾錯(cuò)起點(diǎn)。 通用領(lǐng)域句式復(fù)雜多變，不深入語(yǔ)音識(shí)別系統(tǒng)內(nèi)部尋找規(guī)律的話(huà)很難有所作為。ViaVoice98單純使用3元詞法模型，忽略了詞性

4、和語(yǔ)義搭配信息。本文提出的后處理方法，通過(guò)大規(guī)模語(yǔ)料訓(xùn)練設(shè)計(jì)出增強(qiáng)的語(yǔ)言模型，利用ViaVoice系統(tǒng)語(yǔ)音識(shí)別時(shí)生成的中間結(jié)果WordLattice(詞網(wǎng)格)作為工作起點(diǎn)，用動(dòng)態(tài)規(guī)劃法生成NBest候選句，并以該增強(qiáng)的語(yǔ)言模型評(píng)優(yōu)。利用WordLattice既能充分利用語(yǔ)音識(shí)別系統(tǒng)的中間信息，又避免了介入語(yǔ)音識(shí)別系統(tǒng)內(nèi)部形成干擾。提出的語(yǔ)言模型針對(duì)ViaVoice所用語(yǔ)言模型的不足而設(shè)計(jì)，保證了糾錯(cuò)的效果。引入詞性類(lèi)和語(yǔ)義類(lèi)的概念，回避

5、了含錯(cuò)文本的詞性和語(yǔ)義兼類(lèi)排歧問(wèn)題。 限定領(lǐng)域句式相對(duì)簡(jiǎn)單，出錯(cuò)也較有規(guī)律，但統(tǒng)計(jì)法所必需的大規(guī)模訓(xùn)練語(yǔ)料不易獲取。本文就上海市內(nèi)交通電話(huà)查詢(xún)特定領(lǐng)域用規(guī)則法處理糾錯(cuò)。通過(guò)總結(jié)識(shí)別文本中的出錯(cuò)規(guī)律，定義了相應(yīng)的用于查錯(cuò)和糾錯(cuò)的詞形、語(yǔ)義和語(yǔ)用規(guī)則。識(shí)別文本經(jīng)切分、語(yǔ)義標(biāo)注，逐次檢查詞形、語(yǔ)義標(biāo)記搭配和語(yǔ)用信息，一俟匹配查錯(cuò)規(guī)則就激發(fā)糾錯(cuò)。針對(duì)識(shí)別文本含錯(cuò)嚴(yán)重的現(xiàn)狀，該法更多地依賴(lài)對(duì)出錯(cuò)現(xiàn)象的分析和對(duì)領(lǐng)域信息的應(yīng)用。在本實(shí)驗(yàn)室開(kāi)發(fā)