基于多步處理策略的漢語(yǔ)自動(dòng)分詞研究.pdf

1、自然語(yǔ)言處理是人工智能的一個(gè)重要分支。漢語(yǔ)自動(dòng)分詞是中文自然語(yǔ)言處理的一項(xiàng)基礎(chǔ)性工作，也是中文信息處理的一個(gè)重要問題。漢語(yǔ)自動(dòng)分詞系統(tǒng)是利用計(jì)算機(jī)對(duì)漢語(yǔ)文本進(jìn)行詞語(yǔ)自動(dòng)識(shí)別的系統(tǒng)，對(duì)其研究已經(jīng)取得了很多成果，但已有的系統(tǒng)還不能完全滿足實(shí)際應(yīng)用的需要，有待繼續(xù)研究。 本文主要目標(biāo)是設(shè)計(jì)并實(shí)現(xiàn)一個(gè)漢語(yǔ)自動(dòng)分詞系統(tǒng)。在分析了自動(dòng)分詞面臨的主要困難和難點(diǎn)的基礎(chǔ)上，旨在降低分詞難度和提高分詞精度，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于多步處理策略的漢語(yǔ)自動(dòng)

2、分詞系統(tǒng)。論文的主要工作如下： 論文首先介紹了漢語(yǔ)自動(dòng)分詞系統(tǒng)通常采用的語(yǔ)言模型和分詞算法，提出了基于詞性信息和規(guī)則相結(jié)合的時(shí)間語(yǔ)詞消歧算法。時(shí)間語(yǔ)詞包括時(shí)點(diǎn)語(yǔ)詞和時(shí)段語(yǔ)詞，特定類型時(shí)間語(yǔ)詞在切分時(shí)存在是時(shí)點(diǎn)還是時(shí)段的問題。本文提出的算法開放測(cè)試正確率約為90％，表明了該算法的有效性。 其次搜集、整理和建立了研究所用的自然語(yǔ)言資源。主要包括人工切分標(biāo)注語(yǔ)料的搜集、加工和整理，生語(yǔ)料的搜集及加工，分詞詞典和為分詞提供決策依

3、據(jù)知識(shí)的分詞知識(shí)庫(kù)的建立。還對(duì)文本中的非漢字字符、漢字?jǐn)?shù)字串歸并進(jìn)行了探索。 論文的核心工作是設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于多步處理策略的漢語(yǔ)自動(dòng)分詞系統(tǒng)。系統(tǒng)包括初切分，詞性標(biāo)注、歧義字段處理、模型平滑、未登錄詞識(shí)別等功能模塊。初切分是找出待切分語(yǔ)句各種可能路徑；歧義字段處理包含利用詞的二元模型或分詞詞性標(biāo)注一體化模型處理交集型歧義，利用支持向量機(jī)理論處理組合型歧義；未登錄詞識(shí)別已實(shí)現(xiàn)的功能是利用詞性探測(cè)法識(shí)別中文姓名；模型平滑技術(shù)體現(xiàn)