基于主題的Hidden Web信息獲取研究.pdf

1、隨著World wide Web(WWW)的爆炸式增長,Hidden Web中蘊含了海量的可供訪問的信息,并且還在迅速地增長。這些信息需要通過查詢接口在線訪問其后端的Web數(shù)據(jù)庫才能得到。盡管豐富的信息蘊藏在Hidden Web中,由于Hidden Web數(shù)據(jù)的隱藏特性,傳統(tǒng)的搜索引擎對其不做索引,導致大量的有用信息被浪費。而有效地把這些信息加以利用是一件十分具有挑戰(zhàn)性的工作。 對于Hidden Web的獲取目前成為信息檢索研究

2、的一個新興領域。本文首先介紹了Hidden Web的成因和結構特點,然后對比了Hidden Web爬蟲和傳統(tǒng)爬蟲的異同之處,分析了在設計Hidden Web爬蟲時需要解決的關鍵性技術。在總結現(xiàn)有的網(wǎng)絡爬蟲的基礎上,通過對其架構進行改進和優(yōu)化,提出了一種基于主題獲取Hidden Web信息的方法,文中給出了系統(tǒng)的框架結構,分析了Hidden Web爬蟲抓取頁面時的幾個步驟,并討論了實現(xiàn)的關鍵技術。 通過引入的主題技術,能夠節(jié)省網(wǎng)絡