文本數(shù)據(jù)挖掘中基于云模型的特征選擇方法研究.pdf

1、隨著信息時(shí)代的來(lái)臨以及互聯(lián)網(wǎng)絡(luò)的飛速普及，人們的生活習(xí)慣也隨之發(fā)生了很大的變化，把更多的時(shí)間和精力從報(bào)紙刊物轉(zhuǎn)向了網(wǎng)絡(luò)媒體。網(wǎng)絡(luò)媒體已經(jīng)成為了人們獲取信息的重要途徑。但是，面對(duì)浩瀚如煙的海量網(wǎng)絡(luò)數(shù)據(jù)，如何快速準(zhǔn)確地定位到自己感興趣的內(nèi)容，成為了我們需要解決的問(wèn)題。
　　 文本數(shù)據(jù)挖掘是利用計(jì)算機(jī)通過(guò)某種手段從文本數(shù)據(jù)中獲得有價(jià)值信息的一項(xiàng)技術(shù)。其中，文本分類(lèi)和文本聚類(lèi)是這項(xiàng)計(jì)算機(jī)處理技術(shù)中非常重要的兩種方法。研究發(fā)現(xiàn)，用于分類(lèi)和

2、聚類(lèi)中傳統(tǒng)的特征選擇方法無(wú)法考察特征詞詞頻在文本集合中的分布，因而這些方法不能精確地衡量特征詞的類(lèi)別區(qū)分能力。為了彌補(bǔ)這點(diǎn)不足，本文將云模型理論引入文本特征選擇中，所做的工作主要有以下幾個(gè)方面。
　　 第一、對(duì)文本分類(lèi)和聚類(lèi)技術(shù)進(jìn)行了較為詳細(xì)地闡述。對(duì)其中傳統(tǒng)的特征選擇方法做了深入地研究和探討，詳細(xì)地對(duì)比和分析了它們的區(qū)別和存在的不足。
　　 第二、在文本分類(lèi)中，利用云模型理論分別從關(guān)聯(lián)度和區(qū)分度兩個(gè)方面來(lái)衡量特征詞的重

3、要程度。本文將特征詞映射成分類(lèi)詞云滴，用關(guān)聯(lián)云來(lái)描述詞云滴在單個(gè)類(lèi)別中的分布，用區(qū)分云描述詞云滴在多個(gè)類(lèi)別中的分布，進(jìn)而構(gòu)建關(guān)聯(lián)云過(guò)濾器和區(qū)分云過(guò)濾器進(jìn)行特征選擇。實(shí)驗(yàn)采用樸素貝葉斯和SVM這兩種分類(lèi)器來(lái)驗(yàn)證這種方法的有效性。
　　 第三、在文本聚類(lèi)中，利用云模型理論將特征詞映射成聚類(lèi)詞云滴，并將詞云滴躍升聚類(lèi)文檔云。構(gòu)造聚類(lèi)文檔云過(guò)濾器在無(wú)類(lèi)別標(biāo)識(shí)的文檔中選擇有區(qū)分能力的特征詞。實(shí)驗(yàn)采用K-means聚類(lèi)算法驗(yàn)證了聚類(lèi)云特征的