基于網(wǎng)頁特征的中文網(wǎng)頁自動分類問題研究.pdf

1、隨著WWW的迅速發(fā)展和普及，人們已經(jīng)從信息資源匱乏的時代迅速過渡到信息極為豐富的數(shù)字化時代。面對網(wǎng)上海量的信息資源，人們很難迅速有效的找到真正所需的信息。因此，如何合理和有效地組織和管理網(wǎng)上信息，已經(jīng)成為Web智能領(lǐng)域里一個十分重要的研究課題。隨著網(wǎng)頁信息容量的快速增長，依靠人工的方式來進行大量的網(wǎng)頁分類是不合理的。因此，網(wǎng)頁的自動分類研究成為了一個日益重要的研究領(lǐng)域，并且，它還逐步與信息檢索技術(shù)(IR)、搜索引擎、信息過濾等技術(shù)相結(jié)合

2、，成為解決人們網(wǎng)上信息獲取的重要手段。 本文的研究內(nèi)容主要有以下幾個方面： (1)對網(wǎng)頁分類中的特征表示、特征項提取、分類方法等關(guān)鍵技術(shù)，以及難點和突出問題進行探討和研究。 (2)本文在研究典型新聞網(wǎng)頁特征的基礎(chǔ)上，提出一種綜合利用網(wǎng)頁的URL特征、網(wǎng)頁的內(nèi)容特征和網(wǎng)頁的結(jié)構(gòu)特征構(gòu)建的網(wǎng)頁特征集，并在此基礎(chǔ)上采用三種不同的分類算法構(gòu)建分類器。實驗結(jié)果表明，在本文所提出的新聞網(wǎng)頁特征集的基礎(chǔ)上構(gòu)建的分類器能很好的識

3、別新聞網(wǎng)頁。 (3)本文在進一步研究中文網(wǎng)頁特征的基礎(chǔ)上，提出了一種利用網(wǎng)頁鏈接信息來改進中文網(wǎng)頁分類效果的方法。利用新聞網(wǎng)頁自動識別方法過濾新聞網(wǎng)頁中的噪音鏈接后，對有效鏈接進行分類，利用鏈接的類別特征來增強分類器的效果。實驗結(jié)果表明，在本文提出的綜合利用網(wǎng)頁內(nèi)容特征和網(wǎng)頁的鏈接類別特征的基礎(chǔ)上構(gòu)建的分類器能很好的實現(xiàn)中文網(wǎng)頁分類。 (4)面向主題的Web搜索引擎的設(shè)計與實現(xiàn)。利用新聞網(wǎng)頁自動識別方法對搜索引擎爬蟲進行