基于統(tǒng)計(jì)的蒙古文自動(dòng)詞性標(biāo)注的研究與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)技術(shù)，特別是網(wǎng)絡(luò)技術(shù)的迅速發(fā)展和普及，人們越來越迫切地希望用自然語言與計(jì)算機(jī)交流。因此自然語言信息處理得到了前所未有的重視，受到了國內(nèi)外許多研究者的關(guān)注。詞性標(biāo)注是自然語言信息處理的基礎(chǔ)，詞性標(biāo)注的準(zhǔn)確率直接影響到后續(xù)的研究。目前關(guān)于漢語自動(dòng)詞性標(biāo)注方面一些人士做了許多相關(guān)研究，并取得了一定的成果。而有關(guān)蒙古文自動(dòng)詞性標(biāo)注方面的研究還欠缺。
　　 本文主要研究并實(shí)現(xiàn)了基于統(tǒng)計(jì)的蒙古文自動(dòng)詞性標(biāo)注系統(tǒng)。該系統(tǒng)通過隱馬爾可

2、夫模型對訓(xùn)練語料庫進(jìn)行訓(xùn)練，獲得兩種重要的模型參數(shù)，即詞性轉(zhuǎn)移概率矩陣和詞匯概率分布矩陣。得到模型參數(shù)之后采用VITERBI算法進(jìn)行自動(dòng)詞性標(biāo)注。本文采用了詞語切分和線性插值法解決了隱馬爾可夫模型的數(shù)據(jù)稀疏問題，從而在一定程度上避免了由于數(shù)據(jù)稀疏而導(dǎo)致的自動(dòng)詞性標(biāo)注準(zhǔn)確率下降問題。
　　 最后本文對該系統(tǒng)對蒙古文進(jìn)行切分之前和切分之后的自動(dòng)詞性標(biāo)注分別作了以下的實(shí)驗(yàn)。先在不同規(guī)模的語料下分別做了一級(jí)封閉測試和一級(jí)開放測試。然后當(dāng)