基于領(lǐng)域語料庫的中文自動分詞系統(tǒng)的研究.pdf

1、中文自動分詞是中文信息處理中的一個重要環(huán)節(jié)，長期以來一直是人們研究的熱點(diǎn)和難點(diǎn)。在中文信息處理中，分詞廣泛應(yīng)用于信息檢索、機(jī)器翻譯、自動問答系統(tǒng)、文本挖掘等領(lǐng)域。計(jì)算機(jī)對于中文的處理相對于西文的處理存在更大的難度，集中體現(xiàn)在對文本分詞的處理上。本文介紹了中文自動分詞現(xiàn)狀和存在的困難，以及目前常用的一些切分算法，在對常用的中文分詞算法分析比較的基礎(chǔ)上，采用基于詞典的正向減字最大匹配算法；建立了具有三級索引的首字Hash表的詞典結(jié)構(gòu)，該結(jié)構(gòu)

2、與改進(jìn)的正向最大匹配法形成統(tǒng)一；在歧義處理方面，本文采用了統(tǒng)計(jì)和規(guī)則相結(jié)合的歧義消除策略實(shí)現(xiàn)了通用語料的交集型歧義、組合型歧義以及專業(yè)語料的組合型歧義的識別和消除。 本文對詞典文件進(jìn)行了重組，通過計(jì)算首字偏移量的方法建立索引表，并根據(jù)詞長由長到短的順序形成詞語鏈，進(jìn)一步縮小了匹配范圍、減少了匹配次數(shù)；對正向減字最大匹配算法進(jìn)行了改進(jìn)，其匹配算法的時間復(fù)雜度是O(n)，n為詞表中以某字為首字的平均詞的個數(shù)。實(shí)驗(yàn)顯示，相比其它的算法

3、，有效的提高了切分速度。 作者對分詞詞典的建立方式、分詞步驟及歧義字段的處理提出了新的改進(jìn)方法，提高了分詞的完整性和準(zhǔn)確性，并在VC++6.0集成開發(fā)環(huán)境中實(shí)現(xiàn)了完整的基于計(jì)算機(jī)領(lǐng)域語料庫的中文自動分詞系統(tǒng)。最后分析比較了現(xiàn)有的中文分詞算法和本文所描述的分詞算法在分詞效率和精度的差異，并以有針對性的文本為例進(jìn)行了測試，對所用方法進(jìn)行了驗(yàn)證。這一課題的研究及其成果對于中文信息處理中的多種領(lǐng)域的分詞和歧義處理，都將具有一定的參考價值