Web文本分類研究及應(yīng)用.pdf

1、伴隨著Internet的飛速發(fā)展，Web上出現(xiàn)了海量的、異構(gòu)的、半結(jié)構(gòu)化的、動(dòng)態(tài)的信息資源，并且在這些Web信息中有80﹪以上的信息是以Web文本的形式存在的。如何從這些浩如煙海的Web信息資源中尋找并獲取有價(jià)值的信息和知識(shí)模式，已經(jīng)成為信息處理領(lǐng)域的一個(gè)亟待解決的問(wèn)題。Web文本分類可以有效的解決上述問(wèn)題，它起源于ATC技術(shù)(自動(dòng)文本分類技術(shù))，是Web文本挖掘的關(guān)鍵組成部分；Web文本分類可以提高用戶進(jìn)行網(wǎng)上信息搜索的效率，可以對(duì)搜

2、索結(jié)果進(jìn)行分門別類，幫助用戶快速的對(duì)目標(biāo)知識(shí)進(jìn)行定位，并且能夠從中抽取有價(jià)值的知識(shí)。 本文在分析Web挖掘和Web文本挖掘的研究現(xiàn)狀和存在問(wèn)題的基礎(chǔ)上，主要研究了Web文本分類關(guān)鍵技術(shù)、常用文本分類方法和基于粗糙集和KNN的混合Web文本分類方法，主要研究工作包括：(1)介紹Web挖掘和Web文本挖掘的基礎(chǔ)理論和相關(guān)知識(shí)，分析Web文本挖掘和Web文本分類的研究背景、現(xiàn)狀和存在的問(wèn)題。 (2)對(duì)Web文本分類過(guò)程中的關(guān)鍵

3、技術(shù)：文本預(yù)處理、分詞技術(shù)、文本的表示、權(quán)重的計(jì)算、特征提取和降維技術(shù)，進(jìn)行詳細(xì)的分析和討論；分析和討論影響分類性能評(píng)價(jià)的五個(gè)因素和幾種常用的分類方法質(zhì)量評(píng)價(jià)方法。 (3)討論幾種常用的文本分類方法：KNN分類法、基于VSM的向量距離分類法、貝葉斯分類法、支持向量機(jī)分類法和決策樹(shù)方法等，對(duì)這些方法的分類理論進(jìn)行介紹，分析和比較這些分類方法的優(yōu)缺點(diǎn)。 (4)提出一種基于粗糙集和KNN的混合文本分類模型。利用粗糙集的屬性約簡(jiǎn)