科技論文關(guān)鍵詞抽取技術(shù)的研究.pdf

1、本文以萬(wàn)方數(shù)據(jù)和會(huì)議集作為測(cè)試語(yǔ)料，重點(diǎn)介紹了基于PAT-Tree關(guān)鍵詞的抽取方法和知網(wǎng)在關(guān)鍵詞抽取中的應(yīng)用。首先通過(guò)實(shí)驗(yàn)驗(yàn)證關(guān)鍵詞具有的一些特征并介紹了常用的關(guān)鍵詞的過(guò)濾方法。接著介紹了能夠方便快捷地進(jìn)行全文串頻統(tǒng)計(jì)的PAT-Tree數(shù)據(jù)結(jié)構(gòu)以及互信息。在此基礎(chǔ)上提出了基于PAT-Tree關(guān)鍵詞的抽取方法，抽取過(guò)程基于從原始文本中得到的統(tǒng)計(jì)信息，取出符合篩選條件的字符串?？傮w來(lái)說(shuō)分為四個(gè)階段，分別為：對(duì)文本進(jìn)行預(yù)處理；在預(yù)處理過(guò)的文本

2、上建立PAT-Tree，獲取文章詞頻信息；在PAT-Tree上抽取候選關(guān)鍵詞；對(duì)關(guān)鍵詞過(guò)濾以及選取關(guān)鍵詞。我們把抽取的重點(diǎn)放在了自動(dòng)過(guò)濾符合統(tǒng)計(jì)條件的字符串，進(jìn)一步精選候選關(guān)鍵詞上面。我們?cè)诰x過(guò)程中采用了新的過(guò)濾手段，并借鑒了其它方法的優(yōu)點(diǎn)，形成了一套綜合的過(guò)濾手段，有效地提高了精確度，減少了計(jì)算量。本文的另外一個(gè)特色，考慮到會(huì)議集是領(lǐng)域語(yǔ)料，特別使用分治法的思想來(lái)處理密集計(jì)算，高效地建立PAT-Tree，一方面為抽取領(lǐng)域關(guān)鍵詞提供了