基于統(tǒng)計的常用漢語副詞用法自動識別研究.pdf

1、現(xiàn)代漢語副詞用法自動識別是面向自然語言處理的現(xiàn)代漢語副詞知識庫研究的重要內(nèi)容之一，針對基于規(guī)則的現(xiàn)代漢語副詞用法自動識別方法存在的不足，本文在已有工作的基礎上，進一步提出了基于統(tǒng)計的常用漢語副詞用法自動識別方法。分別采用條件隨機場模型、最大熵模型和支持向量機模型，在1998年1月份《人民日報》分詞與詞性標注語料上，對8個常用的現(xiàn)代漢語副詞進行了統(tǒng)計實驗，實驗表明基于統(tǒng)計的方法在現(xiàn)代漢語副詞用法自動識別上具有較好的識別效果，能夠很好地對未

2、知的副詞用法進行預測，在真實語料中取得了較高的準確率，與規(guī)則方法相比，統(tǒng)計實驗結(jié)果的平均準確率有了較大的提高。實驗證明基于統(tǒng)計的方法在常用現(xiàn)代漢語副詞用法自動識別方面具有良好的應用前景。
　　 根據(jù)俞士汶等提出的構(gòu)建“三位一體”的現(xiàn)代漢語虛詞知識庫的思想，本文著重研究現(xiàn)代漢語副詞用法的自動識別，致力于采用統(tǒng)計機器學習方法實現(xiàn)副詞用法的自動識別。
　　 本文的主要工作包括：
　　 (1)針對已經(jīng)初步構(gòu)建的現(xiàn)代漢語副

3、詞知識庫，以副詞用法信息詞典中的例句集作為語料來考察副詞用法規(guī)則，分析規(guī)則存在的問題，對用法規(guī)則進行修改，進而完善副詞知識庫。
　　 (2)使用基于規(guī)則的方法對人民日報語料中副詞用法進行自動識別，并對識別結(jié)果進行人工校對，形成副詞用法語料庫，并作為實驗語料。在對人民日報語料進行人工校對的同時，分析規(guī)則方法識別結(jié)果存在的問題，并進一步完善副詞用法信息詞典以及副詞用法規(guī)則庫。
　　 (3)針對基于規(guī)則方法存在的不足，實現(xiàn)基于