多文檔自動文摘關鍵技術研究.pdf

1、多文檔自動文摘技術是對內容相關的多篇文章進行分析，并根據(jù)它們所描述的主題脈絡或用戶的興趣導向來抽取出重要的信息或用戶感興趣的信息，并自動生成一篇指定長度的文摘。作為集成語言學、計算語言學、人工智能、信息系統(tǒng)等多門學科的應用技術，多文檔自動文摘的研究對于推動上述領域技術的發(fā)展有著重要意義；同時，一個可行的多文檔自動文摘系統(tǒng)對于加快人們對網(wǎng)絡信息的處理速度與準確率具有重要的實際應用價值。
　　為此，本文進行了基于話語結構的通用型多文檔

2、自動文摘的研究，首先從各級文本單元的話語關系研究入手，研究跨文本單元的相似關系識別、文本時間信息抽取以及事件的時序關系識別、文本內部修辭結構識別以及文本集合的層次主題的識別等，并提出了基于修辭結構理論的多文檔表示結構（Multi-documentRhetoricalStructure,簡稱MRS），該結構通過系統(tǒng)地描述不同層面的文本單元之間的相互關系，以及文檔集合蘊含的事件在時間上的發(fā)生及演變，將多篇文檔在不損失文檔集合原有信息的前提下

3、實現(xiàn)并行融合，在此基礎上，進一步研究基于MRS的文摘句抽取、排序、冗余消除、文摘生成等一系列算法。本文的研究主要包括以下內容：
　　第一，本文對漢語時間信息的獲取以及時間語義計算進行了研究，并在此基礎上研究了時間推理以及事件時序關系識別。文本中的時間信息在多文檔結構中節(jié)點位置的確定、多文檔自動文摘中的關鍵事件識別、事件排序以及文摘句的內容重組方面具有重要的意義，本文根據(jù)中文文本時間信息表達的特點，將承載時間信息的短語按照功能的不同

4、分解成若干容易識別、并且語義單一的“小”的成分，并按照結合規(guī)則來組合這些元素成為時間表達式。由于這些元素本身具有時間語義屬性，因此在結合的過程中就可以計算最終時間表達式的時間語義值并計算表達式之間的時序關系。
　　第二，不同文章的片段之間存在著語義相似關系，這種重復信息是多文檔自動文摘的重要來源。由于這種片段間語義相似度計算不能簡單地沿用全文相似度計算方法。因此本文提出一種基于多特征融合的片段相似度計算方法。方法充分采用多特征融合

5、思想盡可能多地挖掘片段內的詞法、語法、語義特征，并采用機器學習方法自動融合這些特征。從而避免了傳統(tǒng)的以詞或概念為基本元素的單一的文本表達所帶來的信息匱乏、區(qū)分性不強的問題。在特征融合方面，本文采用累積logistic回歸分析模型來自動擬合各個特征同最終的片段相似度之間的關系。該模型不但具有較好的擬合特性，而且不受特征數(shù)量的限制，可以很方便地從模型中添加新特征或刪除已有特征，具有較強的擴展性。
　　第三，主題自動識別是多文檔自動文摘

6、的一個關鍵技術，本文通過對文本集合的主題分布以及主題的范圍分析，提出了層次主題的概念，采用層次樹狀的主題結構來代替?zhèn)鹘y(tǒng)的單層主題集合。我們認為這樣的劃分更加能夠反映原文檔集合的本來面貌。為此，我們采用層次聚合聚類方法來建立文本集合的層次主題樹，并采用樣本密度曲線角點識別方法來自動獲得聚類終止閾值。通過多文檔自動文摘結果評測顯示層次主題的引進可以有效地提高文摘質量。
　　第四，對于基于結構的文摘技術來說，建立合理的形式化表示結構是后

7、續(xù)研究工作順利進行的基礎。DragomirR.Radev介紹交叉文本結構理論（Cross-DocumentStructureTheory，簡稱CST）時提出了兩個基本數(shù)據(jù)結構：多文檔立方體和多文檔圖，前者描述了文本單元之間的時序關系；后者描述了不同層面的文本單元之間的邏輯關系。這兩個結構需要互相補充，互相支撐，才能完整地表達出文檔集合的真實面貌。本文借鑒了CST的思想，提出了一個多文本修辭結構（MRS），并在此基礎上提出了候選文摘句的抽

8、取、文摘句排序及文摘生成等一整套算法。MRS由代表語言單元的節(jié)點和代表語言單元之間相互關系的連接弧按照特定的方式結合而成；單元之間的相互關系包括文檔內部的修辭關系和文檔間的語義相似關系，前者決定了文本單元在文章中的地位，后者體現(xiàn)了節(jié)點與文檔集中的其他節(jié)點的相關程度，另外文本單元的時間信息確定了文檔集描述的事件流的發(fā)生及演變時間。因此，綜合考慮這三方面因素就能最終確定文本單元在文檔集中的重要程度。最后，本文建立了一個多文檔自動文摘系統(tǒng)的定