基于遞歸神經(jīng)網(wǎng)絡的生物醫(yī)學命名實體識別.pdf

1、生物醫(yī)學領域中的諸多信息抽取任務，如關(guān)系抽取、文本分類、指代消解以及事件抽取等，往往需要預先識別出文本中表示指定類型的實體名稱。目前的命名實體識別方法需要豐富的領域?qū)＜抑R，抽取大量人工特征。為了降低這些人工設計耗費的代價，本文基于預訓練的詞向量和遞歸神經(jīng)網(wǎng)絡，提出簡單有效的生物命名實體識別方法;并對神經(jīng)網(wǎng)絡進行一系列擴展和改進，提高對實體的識別性能以及在不同語料集上的適應性。
　　首先，在傳統(tǒng)遞歸神經(jīng)網(wǎng)絡（RNN）的基礎上，對隱

2、層和輸出層同時采用遞歸計算，使隱藏層記錄前文的歷史信息;而輸出層可以建立起標記之間潛在的依賴關(guān)系。同時，為了彌補在對句子劃分子序列時導致的上下文信息缺失，利用布朗聚類算法和狄利克雷(LDA)算法構(gòu)建特征層模式化范圍更廣的上下文語義信息。最后，組合兩個方向相反的單向RNN進行生物醫(yī)學文本中的命名實體識別，在BiocreativeⅡ GM語料上的F-值達到了83.62％。
　　其次，為了進一步提高命名實體識別的效果，克服RNN在處理過

3、長句子時存在的梯度彌散問題，采用長短時記憶(LSTM)網(wǎng)絡結(jié)構(gòu);并在此基礎上，構(gòu)建了雙向LSTM(BLSTM)遞歸神經(jīng)網(wǎng)絡。另外微調(diào)詞向量的過程會導致預訓詞向量信息的丟失，本文提出采用兩套不同的詞向量擴展LSTM結(jié)構(gòu)單元;并根據(jù)兩套詞向量差值計算出句子語義向量表示，從而構(gòu)建出融入句子向量和雙向詞向量的BLSTM(ST-BLSTM)遞歸神經(jīng)網(wǎng)絡。在BiocreativeⅡ GM語料上，本文的方法達到了88.61％的F-值，比采用詞典與分類