中文自動(dòng)分詞中的歧義消解算法研究.pdf

1、信息網(wǎng)絡(luò)技術(shù)的飛速發(fā)展使信息的發(fā)布和共享超越了時(shí)空限制,中文信息處理技術(shù)逐漸成為熱點(diǎn)研究課題。中文自動(dòng)分詞是中文信息處理的基礎(chǔ),詞典算法的設(shè)計(jì)直接關(guān)系著分詞系統(tǒng)的切分速度,歧義字段又是影響分詞系統(tǒng)切分精度的重要因素。
　　 本課題針對(duì)中文分詞系統(tǒng)的兩個(gè)重要指標(biāo):切分速度和切分精度兩個(gè)方面進(jìn)行了深入的研究。在切分速度方面,給出了一種優(yōu)化的TRIE索引樹(shù)詞典機(jī)制,設(shè)計(jì)并實(shí)現(xiàn)了中文分詞詞典；在切分精度方面,給出了兩種消除歧義字段的算法

2、,為解決中文自動(dòng)分詞問(wèn)題提供了一種新的途徑。
　　 論文首先對(duì)中文分詞相關(guān)技術(shù)作了簡(jiǎn)單介紹,分析了各種自動(dòng)分詞方法的優(yōu)缺點(diǎn),介紹了交集型歧義和組合型歧義的定義及識(shí)別方法。然后對(duì)語(yǔ)料庫(kù)以及分詞中的詞典機(jī)制進(jìn)行了分析和研究,在語(yǔ)料庫(kù)的建立環(huán)節(jié)采用關(guān)系數(shù)據(jù)庫(kù)來(lái)管理語(yǔ)料庫(kù)。在詞典生成環(huán)節(jié)采用基于優(yōu)化的TRIE索引樹(shù)的詞典機(jī)制,設(shè)計(jì)并實(shí)現(xiàn)了中文分詞詞典,有效地減少了詞典空間,同時(shí)在查詢(xún)速度上也有了較大幅度的提升。
　　 論文主體部

3、分對(duì)分詞中的歧義消除算法作了研究。在分析了常見(jiàn)消歧算法的優(yōu)缺點(diǎn)后,給出了兩種消除歧義的核心算法。一種是基于條件隨機(jī)場(chǎng)模型消除交集型歧義的算法,該算法將交集型歧義切分由二值分類(lèi)問(wèn)題轉(zhuǎn)化為序列標(biāo)注問(wèn)題,不僅能夠處理任意鏈長(zhǎng)的歧義字串,而且能夠利用上下文信息,在不同的上下文環(huán)境中對(duì)真歧義作出正確的切分。另一種是基于C-支持向量機(jī)和規(guī)則相結(jié)合來(lái)消除組合型歧義的算法。該算法的主要思想是利用C-支持向量機(jī)分類(lèi)模型結(jié)合上下文規(guī)則庫(kù)中的規(guī)則來(lái)對(duì)組合型歧