規(guī)則與統(tǒng)計(jì)相結(jié)合的中文分詞方法研究.pdf

1、隨著信息時(shí)代的到來(lái)，計(jì)算機(jī)在人們生產(chǎn)生活的各個(gè)方面作用越來(lái)越突顯。目前，在機(jī)器翻譯、語(yǔ)音識(shí)別、信息檢索等許多領(lǐng)域?qū)φZ(yǔ)料庫(kù)的使用越來(lái)越多，要求也越來(lái)越高，對(duì)語(yǔ)料庫(kù)進(jìn)行分詞成為建立漢語(yǔ)語(yǔ)料庫(kù)資源的首要任務(wù)。隨著中文信息處理研究的深入，中文文本自動(dòng)分詞問(wèn)題已經(jīng)引起相當(dāng)程度的重視，成為中文信息處理的一個(gè)前沿課題。經(jīng)過(guò)幾十年的研究，中文文本自動(dòng)分詞技術(shù)取得了令人矚目的成果，出現(xiàn)了一些實(shí)用的自動(dòng)分詞系統(tǒng)，這些分詞系統(tǒng)在分詞的精確度和分詞速度方面都具

2、有相當(dāng)水平，但無(wú)論按照人的智力標(biāo)準(zhǔn)，還是同實(shí)用的需要相比較，還有一定的差距。
　　在本文中，我們以加工后的訓(xùn)練語(yǔ)料為研究對(duì)象，提出了一種規(guī)則與統(tǒng)計(jì)相結(jié)合的中文分詞方法。該方法根據(jù)中文分詞中所遇到的問(wèn)題，對(duì)其進(jìn)行歸類并利用規(guī)則與統(tǒng)計(jì)相結(jié)合的思想對(duì)分詞結(jié)果進(jìn)行逐步的優(yōu)化，最終達(dá)到一個(gè)較理想的結(jié)果。主要的研究?jī)?nèi)容有以下幾方面:
　　1.通過(guò)對(duì)大量訓(xùn)練語(yǔ)料的統(tǒng)計(jì)與分析，建立歧義字段資源庫(kù)，深入分析了歧義字段的內(nèi)部特征和上下文環(huán)境特征

3、，為解決歧義字段問(wèn)題建立了語(yǔ)言學(xué)基礎(chǔ)。對(duì)訓(xùn)練語(yǔ)料中所出現(xiàn)的歧義字段進(jìn)行真?zhèn)纹缌x分析，建立相應(yīng)的真歧義庫(kù)和偽歧義庫(kù)。
　　2.統(tǒng)計(jì)并分析真歧義與偽歧義各自不同的語(yǔ)言現(xiàn)象和規(guī)律，對(duì)其進(jìn)行進(jìn)一步的分類，為歧義字段的處理策略提供依據(jù)，進(jìn)而為概率模型的建立提供支持。此外，在概率模型的建立過(guò)程中，使用了《同義詞詞林》作為語(yǔ)義資源，對(duì)歧義字段的上下文環(huán)境進(jìn)行了語(yǔ)義擴(kuò)充。
　　3.通過(guò)對(duì)海量真實(shí)語(yǔ)料的分析和統(tǒng)計(jì)，提取其中所出現(xiàn)的未登錄詞，充

4、分考慮未登錄詞的內(nèi)部結(jié)構(gòu)，抽取和統(tǒng)計(jì)未登錄詞的內(nèi)部信息，建立了未登錄詞資源庫(kù)，并利用內(nèi)部信息建立未登錄識(shí)別的概率模型。
　　4.通過(guò)對(duì)未登錄詞的上下文環(huán)境信息的分析，提取未登錄詞識(shí)別的實(shí)用規(guī)則，建立未登錄詞識(shí)別的規(guī)則庫(kù)，進(jìn)而提高概率模型的識(shí)別效果。
　　我們通過(guò)對(duì)微軟亞洲研究院2005年提供的SIGHAN簡(jiǎn)體中文語(yǔ)料庫(kù)(MSR)的400萬(wàn)語(yǔ)料進(jìn)行模型的訓(xùn)練和檢測(cè)，發(fā)現(xiàn)該策略在歧義字段的處理上有較好的效果。為了進(jìn)一步檢驗(yàn)規(guī)則與