短語級復述的識別與抽取.pdf

1、復述是指對相同語義的不同表達，復述研究在眾多自然語言處理的應用領域中都有重要的意義。本文的主要研究任務是短語級復述資源的獲取。這項研究工作的目的和意義是為基于統(tǒng)計機器翻譯的復述生成模型提供更多資源，從而提高復述生成的質量。
　　本文抽取短語級復述的方法共包括兩個步驟：復述短語候選的獲取和復述候選的確認。復述短語候選的獲取使用了基于可比新聞的方法，此類方法的主要優(yōu)點在于互聯網上可比新聞的數量眾多，因此使用該方法可以構建相當規(guī)模的復述

2、短語庫?；诳杀刃侣勌崛『蜻x的步驟包括獲取新聞語料，基于新聞內容的相似度和新聞發(fā)布時間的間隔獲取可比新聞，從可比新聞中提取可比句，以及從可比句中提取復述短語。復述候選的確認使用基于二元分類的方法，其重點是分類特征的設計。本文所使用的特征主要是基于復述語料的統(tǒng)計特征，其中包括基于χ2方法的詞對齊特征，基于互信息方法詞對齊特征以及基于χ2方法的詞性標注模板對齊特征。前兩個特征是詞匯層面上的統(tǒng)計特征，后一個為以詞性信息為模板的統(tǒng)計特征。除此之

3、外，我們還使用了一些簡單的短語串相似特征，如詞長度比，詞重疊率，編輯距離特征。
　　實驗結果表明了使用基于可比新聞的方法可以獲取大規(guī)模的復述短語，并根據特征比較證明了每一類特征對分類準確率提高均有貢獻，其中以基于χ2方法的詞對齊特征的貢獻最大?；诳杀刃侣劦姆椒ü搏@取復述短語2,961,739對，其準確率為21.47％。我們使用4類特征對2,961,739對復述短語候選進行分類確認，最終共抽取出595,619對復述短語，其準確率為