基于多特征的網(wǎng)頁信息抽取技術的研究與應用.pdf

1、隨著Internet的高速發(fā)展，互聯(lián)網(wǎng)上的信息越來越多，呈現(xiàn)爆炸式增長，以互聯(lián)網(wǎng)信息為數(shù)據(jù)基礎的云計算和大數(shù)據(jù)分析技術隨之興起。然而，在互聯(lián)網(wǎng)上，所有的網(wǎng)頁不僅含有重要信息，同時也包含了與主題信息無關的噪聲信息，比如廣告信息，導航欄等。它們嚴重影響了信息抽取的準確性，因而網(wǎng)頁信息抽取技術的研究應運而生，成為研究的熱點。
　　另一方面，在現(xiàn)有的網(wǎng)頁信息抽取方法中，其重點在于區(qū)分頁面的重要信息和噪聲信息，提高重要信息抽取的準確性和效率

2、性，但對于抽取后網(wǎng)頁信息數(shù)據(jù)卻缺乏形式化組織，導致獲取的重要信息相互雜糅在一起，形成了無法區(qū)分的整段信息，無法對重要信息再進行分類，導致抽取的網(wǎng)頁信息粒度較粗，在后續(xù)應用中可用性較差。
　　本文介紹了網(wǎng)頁信息抽取技術的發(fā)展、原理和相關技術，深入討論了現(xiàn)有網(wǎng)頁信息抽取技術，重點研究了VIPS算法。本文主要研究點如下:
　　(1)針對現(xiàn)有網(wǎng)頁信息形式化組織的缺乏，本文提出了一種網(wǎng)頁信息形式化描述，在清除了網(wǎng)頁噪聲信息的基礎上，將

3、原有網(wǎng)頁重要信息的粗粒度進行細分，針對互聯(lián)網(wǎng)中比重最大的門戶類網(wǎng)站，我們將網(wǎng)頁重要信息描述為主題，發(fā)表日期，瀏覽次數(shù)，正文信息，多媒體信息，評論信息等形式化結構，同時為每部分形式化描述設置不同權重，根據(jù)信息抽取結果中是否存在相應部分來判斷單個網(wǎng)頁的信息抽取的準確性。同時抽取的重要信息通過形式化描述進行了細化，形成了更加規(guī)范和嚴格的數(shù)據(jù)組織形式，為以后的數(shù)據(jù)分析和其他應用提供了更高的可用性。
　　(2)針對現(xiàn)有信息抽取算法對本文提出

4、的網(wǎng)頁信息形式化組織支持方面的缺乏以及現(xiàn)有抽取技術的不足，本文提出了一種針對網(wǎng)頁信息形式化組織的基于VIPS算法改進的網(wǎng)頁信息抽取技術。本技術結合了DOM結構和視覺特征兩方面，采用自上而下，逆序解析DOM結構，同時利用視覺特征和DOM結構特征作為信息抽取的依據(jù)，將標簽分塊和視覺分塊相互結合，同時根據(jù)網(wǎng)頁信息的形式化描述結構對塊進行分類，對于同屬一個形式化描述結構的相似塊，根據(jù)其標簽路徑等特征對相似塊進行合并，最終將網(wǎng)頁抽取的重要信息根據(jù)

5、其形式化描述分成不同塊，此技術綜合了網(wǎng)頁DOM結構和視覺特征的優(yōu)勢，提高了網(wǎng)頁信息抽取的準確率。
　　最后，將本文提出的信息抽取方法與其他傳統(tǒng)的信息抽取算法進行了比較，并將其抽取結果應用于提出的網(wǎng)頁信息形式化組織。經(jīng)過仿真實驗表明，本文提出的網(wǎng)頁信息形式化描述更規(guī)范，更有利用價值，同時提出的方法抽取信息具有更高的分類準確性。最終我們將其在現(xiàn)有的傳統(tǒng)網(wǎng)頁移動化系統(tǒng)中進行了應用試驗，實例是基于青島某大學的PC網(wǎng)站設計的移動校園網(wǎng)站，該