基于統(tǒng)計(jì)的中文文本關(guān)鍵短語(yǔ)自動(dòng)抽取方法研究.pdf

1、關(guān)鍵詞抽取是文本信息處理的重要技術(shù)，是在進(jìn)行文本自動(dòng)摘要、文本自動(dòng)分類、主題提取及專利檢索分析等文本信息理解工作時(shí)，都要應(yīng)用到的一項(xiàng)關(guān)鍵技術(shù)。 關(guān)鍵詞一要反映文本的主題內(nèi)容，二要具有專指性。由于作者給定的關(guān)鍵詞大多是由兩個(gè)或者兩個(gè)以上的詞組成，本文也稱為關(guān)鍵短語(yǔ)。 本文以語(yǔ)言學(xué)、認(rèn)知心理學(xué)、計(jì)算語(yǔ)言學(xué)等方面的理論為短語(yǔ)優(yōu)勢(shì)理?yè)?jù)，提出基于左右鄰信息的擴(kuò)展的完整短語(yǔ)識(shí)別方法，并加以規(guī)則進(jìn)行指導(dǎo)。本文將關(guān)鍵短語(yǔ)抽取建模為分類問(wèn)

2、題，即分詞處理后產(chǎn)生的詞是或不是關(guān)鍵短語(yǔ)分詞所產(chǎn)生的詞(本文稱為候選關(guān)鍵詞)。然后用決策樹方法來(lái)解決這個(gè)分類的問(wèn)題。從大量的科技文獻(xiàn)中統(tǒng)計(jì)分析得出詞頻、首位置、詞性、位置特征作為屬性構(gòu)建訓(xùn)練集，并用C4.5算法生成決策樹抽取候選關(guān)鍵詞。最后以識(shí)別出的短語(yǔ)為依據(jù)對(duì)候選關(guān)鍵詞進(jìn)行合并后處理，最終得到關(guān)鍵短語(yǔ)。實(shí)驗(yàn)證明此方法有效，獲得了較好的性能。 考慮到上述方法具有領(lǐng)域局限性和受訓(xùn)練語(yǔ)料規(guī)模限制，進(jìn)一步利用復(fù)雜網(wǎng)絡(luò)的特征值抽取關(guān)鍵短

3、語(yǔ)。此方法將單個(gè)文檔構(gòu)建成一個(gè)語(yǔ)義復(fù)雜網(wǎng)絡(luò)，將點(diǎn)度中心度與中間中心度結(jié)合，計(jì)算綜合特征值提取關(guān)鍵短語(yǔ)，比單獨(dú)使用網(wǎng)絡(luò)特征值抽取關(guān)鍵短語(yǔ)的性能有較大提高。這種方法的難點(diǎn)在于網(wǎng)絡(luò)連通性難以確保并且計(jì)算量大。針對(duì)網(wǎng)絡(luò)連通性難以確保問(wèn)題，本文提出復(fù)雜網(wǎng)絡(luò)分離的概念，通過(guò)廣度搜索算法實(shí)現(xiàn)網(wǎng)絡(luò)的連通測(cè)試，實(shí)現(xiàn)網(wǎng)絡(luò)分離并用實(shí)驗(yàn)數(shù)據(jù)證明復(fù)雜網(wǎng)絡(luò)的分離不僅沒(méi)有降低關(guān)鍵短語(yǔ)抽取的準(zhǔn)確率，而且解決了網(wǎng)絡(luò)連通性問(wèn)題，并提高了抽取效率。針對(duì)計(jì)算量大的問(wèn)題，通過(guò)網(wǎng)