基于Web挖掘的文本預處理研究及應用.pdf

1、隨著Internet技術的發(fā)展，尤其Web的全球普及，出現(xiàn)了信息極豐富而知識卻相對匾乏的現(xiàn)象。如何從這些浩瀚的文本中發(fā)現(xiàn)有價值的信息是信息處理領域的重要目標。Web文本信息挖掘是數(shù)據(jù)挖掘技術在網(wǎng)絡信息處理中的一個重要應用，但由于Internet的開放性與異構性，使得用戶很難快速準確地從WWW上獲取所需信息，因此如何從大量信息中迅速有效的提取出所需信息也就成了一項重要的研究課題。文本預處理是文本分類的瓶頸。因此本論文從事的文本挖掘預處理工

2、作，以及在該工作基礎上開展的文本分類技術研究，具有重要理論意義和實用價值。 本文首先對Web挖掘的有關理論進行論述，然后討論了Web文本挖掘前預處理技術，最后提出了在預處理過程中的一些改進方法： (1)在特征權重計算方面：通過對常用的特征權重算法的分析和比較，改進了傳統(tǒng)的TF×IDF算法：用新的基尼指數(shù)評估函數(shù)代替IDF。實驗表明這種改進的方法在提高分類精度和挖掘效率方面優(yōu)于其他方法。 (2)在分類器方法中：為了