面向Web信息集成的Web信息抽取中若干關(guān)鍵問(wèn)題的研究.pdf

1、網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展為信息集成技術(shù)帶來(lái)了新的問(wèn)題和挑戰(zhàn)，面對(duì)Internet上異質(zhì)、異構(gòu)數(shù)據(jù)的大量涌入，信息集成技術(shù)的研究呈現(xiàn)出前所未有的生命力。Web信息集成系統(tǒng)為Web數(shù)據(jù)管理提供了一種全新的方法，它提供了一個(gè)訪問(wèn)Web上多個(gè)數(shù)據(jù)源的、統(tǒng)一的和透明的訪問(wèn)界面。其主要目標(biāo)是支持對(duì)Web上的多個(gè)數(shù)據(jù)源的查詢(xún)，滿(mǎn)足用戶(hù)的查詢(xún)需求。 本文在對(duì)Web信息抽取、集成系統(tǒng)研究的現(xiàn)狀和發(fā)展趨勢(shì)進(jìn)行深入分析的基礎(chǔ)上，圍繞其中幾個(gè)關(guān)鍵問(wèn)題進(jìn)行了深

2、入的探討，尤其是針對(duì)復(fù)雜、海量及非結(jié)構(gòu)化和半結(jié)構(gòu)化文本數(shù)據(jù)類(lèi)型的特性，從知識(shí)發(fā)現(xiàn)內(nèi)在機(jī)理研究的角度出發(fā)，形成了Web文本挖掘系統(tǒng)的機(jī)構(gòu)模型、算法、應(yīng)用系統(tǒng)一體化路線(xiàn)。 本文主要的研究成果如下： (一)提出了輕量級(jí)包裝器算法。 由于實(shí)際使用中的Web信息集成系統(tǒng)大部分為實(shí)時(shí)系統(tǒng)，目前廣泛使用的WIEN包裝器歸納學(xué)習(xí)算法為學(xué)習(xí)包裝器，用戶(hù)必須提供若干頁(yè)的完整標(biāo)簽，即用戶(hù)必須提供例子頁(yè)的各個(gè)元組的標(biāo)注，系統(tǒng)的效率和實(shí)用

3、性非常低，特別是當(dāng)搜索引擎返回大量的信息源后，面向信息集成的系統(tǒng)要求包裝器必須能夠高效率地開(kāi)展工作。本文基于Web頁(yè)面信息的存在信息冗余的特點(diǎn)，通過(guò)標(biāo)記的訓(xùn)練子例歸納學(xué)習(xí)包裝器，采用了相同頁(yè)面的數(shù)據(jù)子集作為訓(xùn)練實(shí)例，將潛在的學(xué)習(xí)抽取規(guī)則轉(zhuǎn)變?yōu)樯倭繉?shí)例規(guī)則的抽取學(xué)習(xí)問(wèn)題，以完成信息快速抽取的任務(wù)。主要目的是研究基于數(shù)據(jù)集成目的的自動(dòng)高效快速構(gòu)造Web信息源的包裝器的歸納學(xué)習(xí)系統(tǒng)。該理論應(yīng)用在實(shí)際競(jìng)爭(zhēng)情報(bào)信息系統(tǒng)中證明是有效的，而第二章對(duì)此

4、問(wèn)題做了深入的理論證明。 (二)提出了快速Web信息源權(quán)威值計(jì)算方法。 該算法利用Web頁(yè)的鏈接的有限拓展獲得相關(guān)主題的例子頁(yè)面結(jié)合，然后直接構(gòu)造鄰接矩陣并由引用次數(shù)計(jì)算Web頁(yè)面的權(quán)威值，該算法能夠在對(duì)Web頁(yè)面進(jìn)行信息抽取的同時(shí)計(jì)算得到Web頁(yè)面權(quán)威值，由于設(shè)計(jì)采用了例子頁(yè)面查詢(xún)拓展，對(duì)于Web信息集成中區(qū)別對(duì)待不同質(zhì)量信息源起到關(guān)鍵的作用。這一算法在保證和PageRank一致的精度下，在相同數(shù)據(jù)集條件下，平均計(jì)算時(shí)

5、間儀為PageRank算法的8％。 (三)提出了一種面向XML的公共數(shù)據(jù)模型XCDM該模型針對(duì)已有的半結(jié)構(gòu)化數(shù)據(jù)源模型在表達(dá)XML文檔時(shí)存在的缺陷，將OIM有向圖結(jié)構(gòu)與XML語(yǔ)言的相關(guān)特性相結(jié)合，并補(bǔ)充了四種代數(shù)操作。該模型充分考慮了XML語(yǔ)法表達(dá)的靈活性，可以為用戶(hù)提供多級(jí)視圖。 (四)提出了一個(gè)基于HowNET構(gòu)造出的Ontology的信息抽取、集成模型一個(gè)基于概念模型的本體提供了再現(xiàn)知識(shí)，存儲(chǔ)信息，并在特定的上下文

6、中給出表示符的機(jī)制。這種機(jī)制對(duì)引導(dǎo)、結(jié)合與解釋信息的原有特征以及為高質(zhì)量的搜索和信息抽取、綜合、分析和簡(jiǎn)化起到了杠桿作用。我們的目標(biāo)就是利用這種基于概念模型的本體，使得查詢(xún)、抽取、結(jié)構(gòu)化和綜合等信息變得更加有效和準(zhǔn)確。Ontology實(shí)現(xiàn)Web信息集成本質(zhì)，在語(yǔ)義層通過(guò)HowNET建立共享信息模型，使用Ontology語(yǔ)言對(duì)數(shù)據(jù)源給予形式化表示。 針對(duì)Internet信息資源的特點(diǎn)和信息檢索系統(tǒng)的現(xiàn)狀，作者在詳細(xì)探討和分析了信息