海關網(wǎng)頁搜集系統(tǒng)的設計.pdf_第1頁
已閱讀1頁，還剩63頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

1、搜索引擎是隨著WEB信息的迅速增加，從1994年開始逐漸發(fā)展起來的技術。根據(jù)Netcraft的最新互聯(lián)網(wǎng)調查，截止到2006年3月31日，互聯(lián)網(wǎng)上一共有超過8000萬個網(wǎng)站。目前全球最大的搜索引擎Google更是收錄了超過80億張網(wǎng)頁，這就對搜索引擎技術提出了更高的要求。搜索引擎的網(wǎng)頁搜集系統(tǒng)（又稱爬蟲），是它的主要模塊之一，而爬蟲的搜集速度、抓取網(wǎng)頁質量又是評價搜索引擎好壞的主要指標。本文將分析現(xiàn)有爬蟲的體系結構，從網(wǎng)頁抓取和信息提取

2、兩方面解釋爬蟲的工作原理。為了讓爬蟲能夠滿足海量數(shù)據(jù)搜集的需要，減少因網(wǎng)頁重復搜集而產生的不必要開銷，本文采用了一種新的方法——分裂式Bloom filter算法，并在“asBetter-超越”搜索引擎的分布式結構中引入了這種思想。另外，針對局域網(wǎng)條件，“asBetter-超越”采用基于巴科斯范式的HTML詞法分析自動機，對網(wǎng)頁進行頁面分析，從而高效的提取網(wǎng)頁的純正文內容。最后，對“asBetter-超越”進行完整性驗證和性能分析，并探

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間，僅對用戶上傳內容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論