特定領域文本分類系統(tǒng)的設計與實現.pdf

1、隨著信息技術的迅速發(fā)展，各種學科的信息也在隨之迅速膨脹，人們迫切需要這些特定領域的信息檢索與管理工具，特定領域文本分類成為當前研究熱點。目前，特定領域文本分類主要是在傳統(tǒng)文本分類的基礎上，利用已有的特定領域知識庫擴展文檔特征。如何提取領域相關特征是其主要難點之一。 本文綜述了現有特定領域文本分類系統(tǒng)，詳細介紹了特定領域文本分類系統(tǒng)的設計思想與實現細節(jié)，設計并實現了一套特定領域文本分類系統(tǒng)，針對如何提取領域相關特征的問題，提出了一

2、種基于領域相關術語提取的特征選擇方法，改進了術語提取方法，并且分析了各系統(tǒng)組成部分。本文的工作主要包括： ·本文綜述了現有特定領域文本分類系統(tǒng)，提出了特定領域文本分類系統(tǒng)的體系結構。 ·本文提出了一種基于領域相關術語提取的特征選擇方法，該方法具有以下優(yōu)點：(1)提取出來的特征與領域密切相關，提高了分類效果；(2)大大降低了特征空間維數，提高了系統(tǒng)運行性能；(3)由于該方法使用基于語料庫對比的術語提取方法，不依賴任何特定領

3、域知識庫，從而使系統(tǒng)具有很強的通用性，能輕松應用于各個領域。 ·本文根據詞語搭配分布，改進了傳統(tǒng)的基于語料庫對比的術語提取方法，使術語提取方法兼顧了對語言結構的分析。 ·本文詳細分析了預處理、特征選擇、二級分類器等系統(tǒng)組成部分對分類效果及系統(tǒng)性能的影響。 ·本文設計并實現了一套具有很強通用性的特定領域文本分類系統(tǒng)，該系統(tǒng)參加了TREC2005Genomics項目Categorization任務的評測，在四個子任務