網頁文本分類及其在搜索引擎中的應用.pdf

1、網頁自動文本分類是處理和組織大規(guī)模網絡文本信息的關鍵技術,是使信息資源得以合理有效組織的重要方法,同時也是解決主題搜索、個性化信息檢索、搜索引擎的目錄導航、信息過濾中相關問題的核心技術。研究網頁自動文本分類對于解決人們如何有效獲取有效網絡信息,研究新一代搜索引擎有著重要意義。 本文研究了網頁文本分類及其在搜索引擎應用,主要工作如下： 1.網頁文本分類相關技術的研究：包括特征選擇,特征抽取,分類算法,網頁處理等,在此基礎上

2、設計并實現(xiàn)一個網頁文本分類子系統(tǒng),對網頁分類各種技術進行整合,使其具有良好的框架和可擴展性。 2.提出了一種基于集成學習與類指示器的文本分類方法,該方法利用AdaBoost.MH算法框架,在每一輪次中,自適應地計算類指示器,通過加權組合所有成員類指示器,獲得對理想類指示器的一種逼近。利用最終的類指示器所得到的分類器不僅簡單易于更新,而且泛化能力強。 3.將集成學習方法與推拉策略結合來修正中心法的分類器偏差,基于AdaBo

3、ost.MR方法,通過利用其自適應維護權重分布的特點,用每輪的權重分布,修正傳統(tǒng)中心法分類器偏差,突出被誤分類的文檔的影響,降低其誤分類概率。 4.開展文本分類中特征抽取的研究,論述了應用詞條聚合進行文本分類的特征抽取的基本思想與意義,設計了一種具體方案,利用改進的TGSOM進行詞條聚合,并根據(jù)聚合特征的特點,提出了一種新的權重計算方法。 5.將文本分類用于主題爬蟲：探討了主題爬蟲的基本問題,主要包括主題模型,網頁優(yōu)先級