互聯(lián)網(wǎng)雙語(yǔ)資源挖掘關(guān)鍵技術(shù)研究.pdf

1、機(jī)器翻譯、跨語(yǔ)言信息檢索等自然語(yǔ)言處理應(yīng)用對(duì)大規(guī)模的雙語(yǔ)資源都有大量的需求。雖然各國(guó)都投入了大量的人力、物力和財(cái)力來(lái)加強(qiáng)雙語(yǔ)語(yǔ)料庫(kù)的建設(shè),但現(xiàn)有雙語(yǔ)語(yǔ)料庫(kù)在規(guī)模、時(shí)效性和領(lǐng)域平衡性等方面還不能滿足處理真實(shí)文本的需要。本文致力于基于Web的大規(guī)模雙語(yǔ)平行語(yǔ)料庫(kù)自動(dòng)獲取算法研究。
　　 雙語(yǔ)資源挖掘需要克服Internet中網(wǎng)頁(yè)存在大量重復(fù)網(wǎng)頁(yè)的問(wèn)題。通過(guò)關(guān)鍵詞檢索相似文章,再?gòu)南嗨莆恼聶z測(cè)重復(fù)文章,此方法有效的解決了效率和準(zhǔn)確率平

2、衡問(wèn)題。通過(guò)句子、詞之間相互促進(jìn)的迭代方式選擇關(guān)鍵詞。網(wǎng)頁(yè)的有效去重為雙語(yǔ)資源挖掘的高效奠定了堅(jiān)實(shí)的基礎(chǔ)。
　　 大量雙語(yǔ)平行句對(duì)存在于雙語(yǔ)混合網(wǎng)頁(yè)內(nèi)。本文通過(guò)充分分析網(wǎng)頁(yè)的結(jié)構(gòu)和網(wǎng)頁(yè)的內(nèi)容挖掘雙語(yǔ)句對(duì)。首先基于搜索引擎摘要獲取雙語(yǔ)言混合網(wǎng)頁(yè),其次通過(guò)網(wǎng)頁(yè)分塊選取雙語(yǔ)候選資源,基于雙語(yǔ)單詞互譯度、句子之間度量、M-N網(wǎng)頁(yè)HTML節(jié)點(diǎn)對(duì)齊候選雙語(yǔ)平行句對(duì)。最后基于最大熵模型結(jié)合長(zhǎng)度、雙語(yǔ)單詞互譯度、存在于網(wǎng)頁(yè)內(nèi)的距離、詞對(duì)齊特征有