網(wǎng)頁去噪與特征提取算法的研究及實現(xiàn).pdf

1、網(wǎng)頁分類可在較大程度上解決信息雜亂無章問題。由于網(wǎng)頁中含有較多噪音信息以及網(wǎng)頁的特征提取結果影響到網(wǎng)頁分類性能，因此，如何降低網(wǎng)頁噪音，并改進網(wǎng)頁內(nèi)容的特征提取過程，對網(wǎng)頁分類具有重要意義，已成為網(wǎng)頁分類中的研究熱點。
　　 首先，STU(Semantic Textual Unit)-DOM實現(xiàn)的網(wǎng)頁提取未能判斷不含超級鏈接的網(wǎng)頁噪音，以及未能處理正文在DIV標簽中的情況，從而造成網(wǎng)頁去噪效果不理想。本文在STU-DOM實現(xiàn)網(wǎng)頁

2、內(nèi)容提取的基礎上進行了擴展，考慮了網(wǎng)頁正文信息放在TABLE、DIV標簽中的情況，同時通過計算標題與結點詞共現(xiàn)頻率以及文本間的相似度實現(xiàn)網(wǎng)頁正文內(nèi)容的提取。在計算標題與結點詞共現(xiàn)頻率時，對于大于給定閾值的結點直接保留，反之，則需要計算當前的TABLE或DIV標簽中已提取的內(nèi)容與即將提取結點的相似度，相似度值大于給定閾值，則提取當前結點作為網(wǎng)頁正文，否則進行探測。根據(jù)探測的結果決定是否繼續(xù)提取當前TABLE或DIV標簽中的網(wǎng)頁內(nèi)容。

3、>　　 其次，針對現(xiàn)有的特征提取算法中的頻率差法在特征提取時把不具備類別鑒別能力的特征項賦較高RFD(Relative Frequency Difference)值的不足，對頻率差考慮分段情況，另一改進是考慮特征項的代表性和鑒別性之和的絕對值情況，對改進的算法通過分類器進行了驗證，取得了較好的分類性能。
　　 最后，本文在開源的bot.jar包的基礎上擴展了爬蟲系統(tǒng)的功能，通過計算待爬行URL與主題的相關度，把滿足相關度閾值的