基于頁面模塊識別的Web文章自動抽取方法研究.pdf

1、20世紀90年代以來,互聯(lián)網技術快速發(fā)展,網頁頁面樣式也越發(fā)多樣?，F時的網頁中,充斥著大量的導航、廣告等與頁面主體內容無關的信息,這些信息和網頁的主體信息混雜在一起,大大增加了用戶正確定位網頁有用信息的難度,導致目前只能采用全文檢索的方式來查找所需信息,為了解決這個問題,本文做了以下工作:
　　通過對大量Web文章頁面的DOM樹結構和可視化信息進行了分析,提出一種針對Web文章頁面的基于DOM樹結構和可視化信息的頁面分塊算法。該分

2、塊算法根據Web文章頁面所特有的結構信息和可視化信息特點,以較小的粒度對頁面的可視文本進行分塊預處理,從而為頁面主體文本的模塊識別提供基本的處理單元。實驗結果表明,這種分塊算法為后續(xù)的Web文章正文識別提供了合適的基本處理單元,為準確識別文章正文提供了很好的支持。
　　在頁面分塊的基礎上,通過結構和可視化特征提取,提出了一種采用聚類算法和啟發(fā)性規(guī)則的自動的Web文章正文識別方法,完成對Web文章正文的識別。實驗結果表明,在對Web

3、頁面分塊的基礎上,這種識別方法擁有很高的性能。
　　在成功識別Web文章正文的基礎上,分析Web文章的標題、摘要、圖片、插圖、插圖小標題和相關鏈接列表等Web文章輔助信息的視覺特征和結構特征,針對每一種輔助信息,分別提出了一種基于啟發(fā)式規(guī)則的識別方法。實驗結果表明,這些識別方法有良好的效果。
　　在以上研究成果的基礎上,構建了一個Web文章信息提取的原型系統(tǒng),對Web文章的有效信息實現自動化提取。該系統(tǒng)為本文進行的各種實驗研