動(dòng)態(tài)網(wǎng)頁信息抽取技術(shù)的研究.pdf

1、Internet的飛速發(fā)展使其成為日益重要和最具潛力的資源。WWW作為一種新的信息資源，為計(jì)算機(jī)領(lǐng)域新技術(shù)的產(chǎn)生開辟了新的領(lǐng)域，同時(shí)也為傳統(tǒng)技術(shù)的研究提出了新的方向。 研究表明，目前Web上的頁面主要是以動(dòng)態(tài)頁面的形式存在（占總數(shù)的80％以上），即用戶在調(diào)用頁面時(shí)臨時(shí)通過程序動(dòng)態(tài)生成的頁面。動(dòng)態(tài)頁面使用固定的顯示模板，然后將后臺(tái)數(shù)據(jù)庫中的數(shù)據(jù)嵌入而得。這些數(shù)據(jù)經(jīng)過專業(yè)人員組織整理，因而具有更高的價(jià)值。本文重點(diǎn)研究動(dòng)態(tài)頁面的抽取技

2、術(shù)，它的主要挑戰(zhàn)在于以下幾點(diǎn)：（1）動(dòng)態(tài)頁面表示形式千變?nèi)f化，如何從多樣的動(dòng)態(tài)頁面中有效的定位網(wǎng)頁信息。（2）用戶需要從動(dòng)態(tài)網(wǎng)頁中抽取的信息內(nèi)容可能多種多樣，如何精確的表示不同用戶所定義的不同的抽取請(qǐng)求。 本文重點(diǎn)研究了動(dòng)態(tài)網(wǎng)頁抽取技術(shù)。通過深入分析動(dòng)態(tài)網(wǎng)頁抽取技術(shù)中的關(guān)鍵和難點(diǎn)以及己實(shí)現(xiàn)系統(tǒng)的特點(diǎn)與不足，本人在研究獲得的算法基礎(chǔ)上設(shè)計(jì)了一個(gè)基于樹模型和Wrapper技術(shù)的動(dòng)態(tài)網(wǎng)頁抽取系統(tǒng)。主要的研究和成果如下： 1.

3、針對(duì)動(dòng)態(tài)網(wǎng)頁按信息結(jié)構(gòu)的不同進(jìn)行了分類定義。將動(dòng)態(tài)網(wǎng)頁分為多記錄項(xiàng)動(dòng)態(tài)網(wǎng)頁和單記錄項(xiàng)動(dòng)態(tài)網(wǎng)頁。 2.針對(duì)多記錄動(dòng)態(tài)網(wǎng)頁，提出一種新的基于樹模型的信息抽取算法——DETM。它充分利用了HTML的樹型結(jié)構(gòu)，運(yùn)用樹編輯距離模型和樹歸并算法來定位和抽取網(wǎng)頁信息。 3.針對(duì)單記錄動(dòng)態(tài)網(wǎng)頁，提出一種基于用戶自定義模板的信息抽取算法。它利用模板自動(dòng)生成技術(shù)較好的解決了單記錄動(dòng)態(tài)網(wǎng)頁信息項(xiàng)定位比較困難這個(gè)難題，將網(wǎng)頁結(jié)構(gòu)信息使用XM