基于SVM和K-means的微博話題分類方法研究.pdf

1、微博等應用的快速發(fā)展產生了海量的微博文本，在對其進行話題分類處理時，由于微博文本短、詞量少、用詞不規(guī)范和文本數(shù)量巨大等特征，使得傳統(tǒng)話題分類方法對類似微博這種文本的分類適用性變得很差。為減少話題分類過程中人工標注的工作量，并保證話題分類的準確性不降低，提出了一種基于SVM和K-means相結合的微博話題分類方法。
　　微博話題分類本質上屬于文本分類的一種具體應用。文本分類是屬于一個有監(jiān)督學習的過程，它需要對提前人工標注過的訓練集文

2、本進行訓練，人工標注這個過程是一個繁瑣的過程，特別是對于類似微博這種內容短、用詞隨意、數(shù)量大的文本，完成人工標注的過程將更加地繁雜。文本聚類是屬于一個無監(jiān)督學習的過程，其沒有人工標注這一步驟，但是利用它對文本進行區(qū)分的效果往往不好。針對這些現(xiàn)象，利用兩者的優(yōu)點，彌補對方的不足，提出了一種基于SVM和K-means相結合的微博話題分類方法。首先用K-means聚類方法對微博文本進行聚類，然后選取每個類簇中距離聚類質心最近的一些微博文本作為

3、該類話題用來訓練SVM的訓練樣本集。最后用訓練好的SVM分類器對微博文本進行話題分類。將這兩方法結合起來，既可以彌補無監(jiān)督學習方法的聚類在文本區(qū)分效果上的低效性，又減輕了有監(jiān)督學習方法的分類在文本分類時需要對訓練樣本人工標注的繁雜性。
　　實驗通過對同一微博數(shù)據(jù)分別進行K-means微博話題分類、SVM微博話題分類、SVM和K-means相結合的微博話題分類，分類的效果比較表明：SVM和K-means相結合的微博話題分類方法在實現(xiàn)