基于向量空間的中文科技文獻(xiàn)信息檢索系統(tǒng)研究.pdf

1、在實(shí)際信息檢索系統(tǒng)中，信息檢索系統(tǒng)的查全率和查準(zhǔn)率都不是很高，針對(duì)不同的文獻(xiàn)集，信息檢索系統(tǒng)的性能也不一樣，很多系統(tǒng)盡量適應(yīng)各種文獻(xiàn)的檢索，這樣性能就更加低效，與其說使檢索系統(tǒng)適應(yīng)各種文獻(xiàn)類型不如退而求其次，針對(duì)不同的文獻(xiàn)類型設(shè)計(jì)不同的檢索系統(tǒng)，本文對(duì)使用最多的科技文獻(xiàn)的結(jié)構(gòu)進(jìn)行了分析，針對(duì)科技文獻(xiàn)的特點(diǎn)，對(duì)中文科技文獻(xiàn)信息檢索系統(tǒng)的各個(gè)方面進(jìn)行了改進(jìn)。 在討論科技文獻(xiàn)的自動(dòng)分詞之前首先分析了用來標(biāo)引文獻(xiàn)的關(guān)鍵詞，根據(jù)文獻(xiàn)標(biāo)引中

2、使用的關(guān)鍵詞的特點(diǎn)，改進(jìn)了分詞詞典和停用詞表，使其更加適用于中文科技文獻(xiàn)的標(biāo)引需要。針對(duì)文獻(xiàn)的五個(gè)部分使用了不同的分詞算法，對(duì)篇名、摘要和參考文獻(xiàn)使用雙向最大分詞算法，可以從中識(shí)別出歧義詞。對(duì)于正文由于詞語的重復(fù)率比較高，不對(duì)正文出現(xiàn)的少量歧義進(jìn)行處理，也不會(huì)對(duì)詞頻產(chǎn)生大的影響。正文就只采用正向最大分詞方法。 信息檢索系統(tǒng)選用向量空間模型作為檢索模型。在基于向量空間的信息檢索系統(tǒng)中加入了位置空間，位置空間中篇名、摘要、關(guān)鍵詞、正