文本挖掘預處理相關基礎技術分析與應用研究.pdf

1、本論文將在對比分析并發(fā)現(xiàn)現(xiàn)有文本挖掘技術存在不足的基礎上，提出改進文本預處理精度的算法。文中涉及的主要技術包括文本收集、文本預處理、處理后的文本的中文分詞、預抽取訓練樣本及使用KNN方法進行文本訓練和文本分類等。通過對系統(tǒng)功能的分析，本研究把系統(tǒng)分成了文本預處理、中文分詞、文本特征向量的提取、文本特征向量的訓練和分類等四部分。 在文本特征向量的提取、文本特征向量的訓練和分類部分中，作者研究了一種基于詞的文檔頻率(DF)和信息增益

2、相融合的的方法，這種方法不僅相對簡單，有層次感，而且在保證分類器性能的基礎上，可以允許我們適當?shù)剡x擇訓練樣本，減少支持向量，從而提高KNN的訓練和分類速度。接著介紹了KNN的基本理論以及目前KNN方法在文本分類中的應用情況，以及如何使用KNN，利用獲得的文本特征向量及其權重來生成輸入文檔，進行文本訓練和分類的過程。 本課題實現(xiàn)了文本收集、文本預處理和中文分詞等文本挖掘的關鍵技術，并在研究的基礎上提出了一套特征抽取及文本挖掘的方案