領域驅(qū)動網(wǎng)絡資源獲取.pdf

1、當前互聯(lián)網(wǎng)資源形式和內(nèi)容多樣，都是對客觀世界事物的反映，也是資源生產(chǎn)者如網(wǎng)站編輯等在自身對客觀世界認識基礎上構建的概念世界的體現(xiàn)。同時，對于同一事物，不同的人有不同的理解和認識，因此描述的形式也不一致。而另一方面，資源的獲取者試圖從不完整的各種網(wǎng)絡資源中得到關于某一事物的所有信息，因此，二者是一個互逆的過程。
　　在傳統(tǒng)的HTML頁面基礎上發(fā)展起來的不能直接通過分析網(wǎng)頁源碼中URL得到而需要通過填寫表單提交查詢后才能得到的Deep

2、 Web內(nèi)容所占比例越來越大，如何進行有效的獲取是目前研究的重點。然而為了最大限度的利用已有搜索引擎基礎設施，之前的研究主要集中在GET方法提交的表單。同時，對于通用搜索引擎來說，數(shù)據(jù)之間是相互獨立的，隨著垂直搜索引擎的發(fā)展，一個領域內(nèi)相關的數(shù)據(jù)都被整合起來，進行綜合展示。
　　本文通過領域本體構建領域模型，在現(xiàn)有知識庫基礎上通過元搜索獲得Deep Web內(nèi)容表單（包括GET和POST提交方法）入口，利用算法進行表單字段的選取和內(nèi)

3、容的填充后提交查詢表單從而獲取各種互聯(lián)網(wǎng)數(shù)據(jù)，并通過網(wǎng)絡資源模型和要素與本體匹配算法進行特定要素的提取，從而將半結(jié)構化的數(shù)據(jù)形成結(jié)構化的數(shù)據(jù)表。同時根據(jù)本體概念之間的關系，將同一領域的不同數(shù)據(jù)進行關聯(lián)，從而使得數(shù)據(jù)之間不再孤立，并且形成對客觀世界盡可能詳細的描述。
　　以應急為例，因為該領域中存在的各種數(shù)據(jù)可以通過地理坐標信息進行精確關聯(lián)，通過對網(wǎng)絡中地名有關的應急信息如應急預案、應急案例、應急專家等內(nèi)容和人文地理信息如行政區(qū)劃、