基于陷阱技術的web robot檢測方法研究.pdf

1、Web robot(網(wǎng)絡爬蟲)作為一種網(wǎng)絡資源獲取程序，在廣泛應用于信息搜索的同時，也帶來了一些負面影響。Robot對網(wǎng)站資源的集中獲取導致網(wǎng)絡流量增加，使網(wǎng)站響應性能下降；Robot對網(wǎng)站的訪問嚴重影響基于日志的各種數(shù)據(jù)挖掘工作的結果；惡意robot會造成隱私數(shù)據(jù)泄漏、資源濫用、點擊欺騙等問題。因此出現(xiàn)大量robot檢測技術對robot進行檢測，并在必要的時候屏蔽其對網(wǎng)站的訪問。
　　本文介紹了現(xiàn)有的robot檢測技術，并對他們

2、所采用的方法、技術和優(yōu)缺點做了詳細的論述。介紹了陷阱技術在robot檢測中的應用現(xiàn)狀，針對陷阱檢測中陷阱設置策略簡單、缺乏相應理論和模型支持等問題，提出了一種新的robot檢測模型--基于陷阱技術的robot檢測模型。
　　基于陷阱技術的檢測模型，采用隱藏鏈接來捕獲robot，可移植性強，可方便的布設到需要進行robot檢測的網(wǎng)站中。陷阱檢測模型和其它檢測技術一樣不但具有常規(guī)robot的檢測能力，而且由于陷阱的特殊森林結構，使其具

3、有分布式robot的檢測和區(qū)分能力，與其他檢測技術相比，體現(xiàn)了陷阱技術的優(yōu)越性。
　　文中結合robot訪問網(wǎng)站的覆蓋率和陷阱鏈接的布置率兩個因素，對模型的檢測能力做了詳細的分析，指出了陷阱檢測模型的優(yōu)缺點，詳細探討了陷阱的布置策略對robot檢測效果的影響。
　　最后，設計了具體實驗，結合陷阱檢測模型特點，對模型的各個功能模塊做了具體實現(xiàn)，開發(fā)了一個robot檢測分析系統(tǒng)，并發(fā)布到互聯(lián)網(wǎng)上。通過對實驗數(shù)據(jù)進行分析，驗證了陷