文本表示模型和特征選擇算法研究.pdf

1、文本分類是一種處理非結構信息的有效手段，在機器學習和信息檢索等領域得到了廣泛研究和應用。然而由于文本特征具有高維性、高稀疏性，因此文本分類的效果和速度高度依賴于特征選擇方法和文本表示模型的選取。本文在文本特征選擇和文本表示模型兩個方面展開研究，主要工作如下:
　　(1)傳統(tǒng)的基于統(tǒng)計的特征選擇方法，沒有考慮特征的語義。為此，本文提出基于LDA詞向量和Word2vec詞向量的特征選擇方法，分別從主題和詞語上下文關系上，學習特征的語義

2、概念。特征選擇完成后，利用向量空間模型，對語料進行分類。在復旦語料上的實驗結果表明，基于詞向量的特征選擇分類效果相對于傳統(tǒng)的特征選擇得到了一定的改善。并且，基于詞向量的特征選擇是一種無監(jiān)督的方法，無需標注數(shù)據集。
　　(2)LDA模型(LatentDirichletAllocation)沒有對輸入的特征進行選擇，因為含有大量對主題表達沒有意義的詞，影響主題質量。針對這種情況，本文提出一種基于遺傳算法的文本特征選擇，預先使用遺傳算法

3、對原始的特征空間降低維，使得LDA能夠在更有意義的特征空間上進行主題分配。對復旦語料庫進行分類實驗，分類效果得到了改善。同時本文提出的遺傳算法用于特征選擇是自適應的，無需事先確定特征選擇比例。LDA生成的主題中存在部分垃圾主題，一些主題是不相關的特征詞集合。當前主要用通過手工檢查找有意義的主題。主題自動排序的方法，目前只有TSR(TopicSignificanceRanking)。TSR方法步驟比較多，且只考慮主題與垃圾主題的距離，沒有

4、考慮主題之間的關系。針對主題重要性排序，本文提出一種最大垃圾主題距離-最小相似度的主題重要性排序方法。實驗結果表明，本文提出的主題重要性排序方法，簡單高效，能夠識別出有意義的主題。
　　(3)LF-LDA模型(latentfeature-LDA)結合詞向量訓練模型，文本分類效果優(yōu)于LDA。本文在LF-LDA模型的基礎上，提出了基于LF-LDA模型結合Word2vec的文本表示模型，利用LF-LDA生成的主題向量與Word2vec表