基于領(lǐng)域本體的Web文檔自動(dòng)摘要關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、Internet作為海量信息的載體越來(lái)越受到人們的青睞，人們?cè)谙硎芫W(wǎng)絡(luò)便捷的同時(shí)也被其大量涌現(xiàn)的無(wú)用Web頁(yè)面信息所困擾，如何快速、準(zhǔn)確地定位對(duì)用戶有用的Web信息已成為當(dāng)今學(xué)術(shù)界研究的一大熱點(diǎn)。Web文檔自動(dòng)摘要技術(shù)聚焦于解決這一問(wèn)題，其思想是利用計(jì)算機(jī)快速處理Web頁(yè)面并自動(dòng)總結(jié)出其文檔的核心內(nèi)容，使得用戶可以根據(jù)自動(dòng)概括出的核心內(nèi)容來(lái)判斷Web頁(yè)面的價(jià)值，從而大大提高用戶準(zhǔn)確獲取信息的速度。 從現(xiàn)有研究看，利用Web文檔自

2、動(dòng)摘要技術(shù)生成的摘要質(zhì)量很難令人滿意，原因在于兩方面：其一，Web頁(yè)面上使用的HTML標(biāo)簽不規(guī)范及大量噪音信息的存在影響了Web文檔摘要抽取的準(zhǔn)確率；其二，現(xiàn)有的自動(dòng)摘要技術(shù)僅基于統(tǒng)計(jì)方法，忽視了對(duì)文檔內(nèi)容和主題的分析，導(dǎo)致生成的摘要質(zhì)量不高。針對(duì)這些不足，本文首先提出了一種以文本塊為單位的、自底向上的Web文檔抽取算法(BWTE算法)，從而有效地提高Web文檔抽取的準(zhǔn)確率；其次，本文提出基于領(lǐng)域本體的文檔自動(dòng)摘要算法(OntoSVD算

3、法)，將語(yǔ)義分析引入到基于潛語(yǔ)義分析模型的自動(dòng)摘要算法中，進(jìn)而提高生成的自動(dòng)摘要質(zhì)量。基于BWTE和OntoSVD算法，作者實(shí)現(xiàn)了原型系統(tǒng)MIA，驗(yàn)證了這兩個(gè)算法的有效性。 本文的主要研究成果可以歸納為： 1)在現(xiàn)有的Web文檔抽取方法基礎(chǔ)上，提出了一種以文本塊為單位的自底向上抽取算法-BwTE(Block—base Web Text Extraction)算法，先后使用過(guò)濾和抽取的方法對(duì)Web頁(yè)面進(jìn)行處理，從而得到We