基于系統(tǒng)相似模型與持續(xù)時(shí)間的話題檢測(cè)技術(shù)研究.pdf

1、話題檢測(cè)與跟蹤(Topic Detection and Tracking,TDT)作為一個(gè)新興的自然語(yǔ)言處理研究方向,它的研究主要涉及了自然語(yǔ)言處理、信息檢索、信息過(guò)濾、人工智能和機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域,是一個(gè)跨學(xué)科領(lǐng)域的綜合性課題。話題檢測(cè)與跟蹤旨在基于事件對(duì)信息進(jìn)行組織和利用,同時(shí)也是為了應(yīng)對(duì)信息過(guò)載問(wèn)題而提出的一項(xiàng)應(yīng)用研究。TDT是指在新聞專線和廣播新聞等來(lái)源的新聞數(shù)據(jù)流中自動(dòng)的發(fā)現(xiàn)話題并把話題相關(guān)的內(nèi)容聯(lián)系在一起的技術(shù)。自1996年

2、TDT概念提出以來(lái),國(guó)內(nèi)外許多研究機(jī)構(gòu)都參與了這一技術(shù)的研究。目前TDT研究已經(jīng)引起了國(guó)內(nèi)外研究者們的廣泛關(guān)注,逐漸成為自然語(yǔ)言處理領(lǐng)域的一個(gè)研究熱點(diǎn)。
　　 本文以文本形式的英文新聞報(bào)道流為處理對(duì)象,對(duì)話題檢測(cè)任務(wù)進(jìn)行了深入細(xì)致的研究。我們首先介紹了話題檢測(cè)與跟蹤技術(shù)的相關(guān)概念,以及近年來(lái)的發(fā)展動(dòng)向。然后重點(diǎn)介紹了系統(tǒng)相似模型及系統(tǒng)相似度計(jì)算方法。本文分析詞變體與縮略詞在話題檢測(cè)與跟蹤中的作用,研究并實(shí)現(xiàn)了一種基于形態(tài)學(xué)與語(yǔ)義

3、相結(jié)合的詞變體與縮略詞的識(shí)別方法。
　　 本文針對(duì)話題檢測(cè)研究中存在的“難以區(qū)分”的難題,并分析了英語(yǔ)新聞報(bào)道內(nèi)容及書寫形式上的特點(diǎn)提出了一種基于語(yǔ)義劃分的話題檢測(cè)技術(shù)。實(shí)驗(yàn)證明,基于語(yǔ)義劃分的話題檢測(cè)算法對(duì)于解決“難以區(qū)分”問(wèn)題非常有效。最后探索了時(shí)間信息在話題檢測(cè)中的應(yīng)用研究,研究并實(shí)現(xiàn)了基于話題持續(xù)時(shí)間的動(dòng)態(tài)閾值模型,并結(jié)合其特點(diǎn)采用了一種比值法來(lái)選擇和話題最相似的報(bào)道。通過(guò)在英語(yǔ)語(yǔ)料上對(duì)該動(dòng)態(tài)閾值模型進(jìn)行實(shí)驗(yàn)證明基于話題