基于遞歸神經(jīng)網(wǎng)絡的中文自然語言處理技術研究.pdf

1、遞歸神經(jīng)網(wǎng)絡作為一種特殊的深層神經(jīng)網(wǎng)絡，近年來被成功地應用于英文的語言建模和句法分析等問題中。然而，遞歸神經(jīng)網(wǎng)絡在中文自然語言處理中的相關工作則相對較少。中文和英文之間存在很大的差別，因此在處理中文自然語言問題時，不能完全照搬英文的處理方法。
　　本文分析了中文語言的特點，并使用基于遞歸神經(jīng)網(wǎng)絡的方法，對中文自然語言處理中的語言模型、分詞、詞性標注和命名實體識別問題進行了研究，主要工作包括;
　　(1)針對中文漢字數(shù)量少且字

2、與字之間的關系復雜的特點，提出了Embedding遞歸神經(jīng)網(wǎng)絡。該網(wǎng)絡將字的表示與歷史的表示分離開來，避免了增大隱藏層會導致網(wǎng)絡參數(shù)過度增加的問題。本文借助Minibatch、預訓練和Dropout方法優(yōu)化了Embedding遞歸神經(jīng)網(wǎng)絡的訓練過程，并成功地將該網(wǎng)絡應用到中文字語言模型的構建中。
　　(2)針對中文詞法分析依賴上下文特征的特點，改進了已有的Embedding遞歸神經(jīng)網(wǎng)絡，提出了多Embedding遞歸神經(jīng)網(wǎng)絡。該網(wǎng)

3、絡不僅具備向后觀察的能力，而且復用了語言模型訓練出來的Embeddings作為中文字符的表示特征，從而避免了手工構造樣本特征的過程，降低了人力成本。在該網(wǎng)絡的基礎上，本文進一步引入了一種雙向訓練策略，使得模型可以充分利用字符序列的上下文信息。本文成功地將該網(wǎng)絡應用到分詞、詞性標注和命名實體識別任務的處理中。
　　實驗表明，使用預訓練和Dropout方法的Embedding遞歸神經(jīng)網(wǎng)絡語言模型的混亂度性能要明顯優(yōu)于傳統(tǒng)遞歸神經(jīng)網(wǎng)絡語