中文文本自動(dòng)校對(duì)系統(tǒng).pdf

1、隨著計(jì)算機(jī)和信息技術(shù)的發(fā)展，統(tǒng)計(jì)自然語(yǔ)言處理技術(shù)也得到快速發(fā)展，取得了驕人的成就。電子文本自動(dòng)校對(duì)的需求使得文本自動(dòng)校對(duì)研究應(yīng)運(yùn)而生，它是自然語(yǔ)言處理領(lǐng)域重要課題。中文文本自動(dòng)校對(duì)分為自動(dòng)查錯(cuò)和自動(dòng)糾錯(cuò)兩個(gè)步驟，針對(duì)這兩方面本文做了以下工作：
　　(1)中文同音詞的局部校對(duì)
　　中文文本錯(cuò)誤類型多種多樣，本文在詳細(xì)分析每種類型的特點(diǎn)的基礎(chǔ)上并且結(jié)合實(shí)際發(fā)現(xiàn)同音詞錯(cuò)誤占了很大的比例，因此針對(duì)同音詞校對(duì)做了一些工作。首先運(yùn)用最簡(jiǎn)

2、單的n-gram模型——二元模型；再結(jié)合二元模型和上下文語(yǔ)境；通過(guò)分析實(shí)驗(yàn)結(jié)果分析，在此基礎(chǔ)上本文提出了利用語(yǔ)境同義詞泛化的方法，改善了數(shù)據(jù)稀疏的問(wèn)題，提高了系統(tǒng)性能。最后用真實(shí)測(cè)試文本進(jìn)行測(cè)試，召回率達(dá)81.2％，準(zhǔn)確率73.4%，糾正率88.9%。
　　(2)中文同音詞的長(zhǎng)距離校對(duì)
　　針對(duì)運(yùn)用局部特征無(wú)法自動(dòng)識(shí)別和糾正的錯(cuò)誤，本文利用了中文固定搭配來(lái)校對(duì)這類錯(cuò)誤。首先根據(jù)語(yǔ)料自動(dòng)獲取搭配，這是長(zhǎng)距離校對(duì)的基礎(chǔ)資源，校對(duì)

3、時(shí)提取待校對(duì)文本的搭配信息，根據(jù)訓(xùn)練的搭配資源計(jì)算搭配支持度，比較混淆集所有詞的支持度大小判斷原文是否出錯(cuò)，并給出支持度最大的兩個(gè)作為糾錯(cuò)意見(jiàn)。
　　(3)非詞錯(cuò)誤校對(duì)
　　本文還對(duì)非詞錯(cuò)誤的校對(duì)進(jìn)行了研究。這里只針對(duì)長(zhǎng)詞錯(cuò)誤，包括四字詞、五字詞、六字詞，也就是常見(jiàn)的成語(yǔ)類錯(cuò)誤?！胺窃~”錯(cuò)誤其實(shí)英文文本校對(duì)中的概念，本文中的“非詞”是對(duì)完整正確的長(zhǎng)詞而言的，而不是漢字。針對(duì)這個(gè)問(wèn)題的校對(duì)，本文采用構(gòu)造錯(cuò)詞集的方法，通過(guò)詞典和