支持向量機分類方法及其在文本分類中的應用研究.pdf

1、支持向量機作為一種基于統(tǒng)計學習理論的新型機器學習方法，較好地解決了非線性、高維數(shù)、局部極小點等實際問題，是機器學習領域新的研究熱點。文本分類是基于內(nèi)容的自動信息管理的核心技術。文本向量稀疏性大、維數(shù)高、特征之間具有較大的相關性，支持向量機對于特征相關性和稀疏性不敏感，處理高維數(shù)問題具有較大的優(yōu)勢，因此，支持向量機非常適用于文本分類問題，在文本分類中具有很大的應用潛力。但是，同時，文本分類也給支持向量機提出了許多富有挑戰(zhàn)性的課題。例如，文

2、本分類具有類別和樣本數(shù)目多、噪音多等特點，支持向量機用于文本分類時存在訓練和分類速度較慢等缺點。該文主要針對支持向量機在文本分類等實際應用中存在的問題進行深入研究。 主要工作如下： 1、支持向量機是針對兩類分類問題提出的，如何將其有效地推廣到多類分類仍是一個尚未完全解決的問題。分析了現(xiàn)有支持向量機多類分類方法的特點，并給出了一種半模糊核聚類算法，在此基礎上，根據(jù)樹型支持向量機的特性，提出了一種基于半模糊核聚類的樹型支持向

3、量機多類分類方法。該方法基于半模糊核聚類算法挖掘不同類別之間的銜接和離散信息，設計樹型支持向量機的樹型結構，克服其差錯積累問題。實驗表明，與其它支持向量機多類分類方法相比，該方法具有較高的分類精度和訓練速度，提高了支持向量機在多類分類問題中的應用效果。 2、針對標準支持向量機對噪音敏感，分類時傾向于樣本數(shù)目較多的類別的問題，給出一種模糊支持向量機的推廣模型，并在此基礎上，結合近似支持向量機的優(yōu)勢，提出了一種支持向量機組合分類方法

4、。該方法首先采用近似支持向量機快速地去除非支持向量、減少訓練樣本數(shù)目、確定樣本權值和模型參數(shù)，然后在樣本數(shù)目較少的訓練集上，依據(jù)選擇好的模型參數(shù)和樣本權值訓練模糊支持向量機的推廣模型。實驗表明，該方法能有效確定樣本權值，減少訓練時間，并克服野值點和類別訓練樣本數(shù)目不均衡對分類器的不利影響。 3、通常情況下，支持向量的數(shù)目越多，支持向量機的分類速度越慢，如何縮減支持向量集合、提高支持向量機的分類速度是支持向量機的重要研究內(nèi)容之一。

5、在分析了現(xiàn)有支持向量集合縮減方法的基礎上，提出了一種基于虛樣本與支持向量回歸的支持向量集合縮減方法。該方法是根據(jù)支持向量集合和支持向量回歸方法的特性，對Osuna等提出的支持向量集合縮減方法的改進。該方法通過引入虛樣本剔除支持向量集合中的冗余樣本，生成虛邊界支持向量，解決了當冗余支持向量數(shù)目較多、邊界支持向量數(shù)目很少時，Osuna等提出的方法不能有效縮減支持向量集合的問題。實驗表明，該方法在基本不降低支持向量機分類精度的前提下，比Osu

6、na等提出的方法更大程度地減少了支持向量的數(shù)目，提高了支持向量機的分類速度。 4、基于支持向量機在文本分類中的優(yōu)勢，將支持向量機方法應用于文本分類的特征提取，提出了一種基于支持向量機的單詞聚類方法。該方法基于支持向量機度量單詞對分類的貢獻大小，將對分類貢獻一致的單詞合并起來作為文本向量的一個特征項。實驗表明，該方法在基本不丟失分類信息的前提下，較大程度地降低了文本向量的維數(shù)、減少了文本特征之間的相關性，并提高了文本分類的查準率和