面向網(wǎng)絡(luò)數(shù)據(jù)的信息抽取研究與應(yīng)用.pdf

1、隨著因特網(wǎng)的發(fā)展，人類的社會活動開始廣泛使用人工智能技術(shù)，該技術(shù)的應(yīng)用發(fā)展通常需要構(gòu)建不等規(guī)模的知識庫來為其做后臺數(shù)據(jù)支撐。而知識庫的建設(shè)往往需要從海量的半結(jié)構(gòu)化、非結(jié)構(gòu)化網(wǎng)絡(luò)信息中抽取出結(jié)構(gòu)化數(shù)據(jù)。本文研究的重點是面向海量的互聯(lián)網(wǎng)網(wǎng)絡(luò)數(shù)據(jù)做信息抽取，主要包括網(wǎng)頁數(shù)據(jù)的收集整理、半結(jié)構(gòu)化信息抽取、非結(jié)構(gòu)化信息抽取和資源描述框架三元組構(gòu)建知識庫四個方面內(nèi)容。
　　豆瓣網(wǎng)、大眾點評網(wǎng)、中文網(wǎng)絡(luò)百科等海量網(wǎng)絡(luò)數(shù)據(jù)中包含了大量半結(jié)構(gòu)化、非

2、結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)是信息抽取的很好數(shù)據(jù)源。目前大多數(shù)網(wǎng)站有數(shù)據(jù)反抓取保護，從以上網(wǎng)站收集數(shù)據(jù)時遇到封禁IP，很難爬取到該網(wǎng)站全部數(shù)據(jù)的困難;以及由于中文網(wǎng)絡(luò)百科屬性是由無數(shù)網(wǎng)友人工自定義的，導(dǎo)致了屬性多達幾千個，之前的研究者都只是抽取了屬性詞頻較高的少量屬性的知識，而放棄了對大多數(shù)屬性知識的抽取。
　　針對以上難題，同時以構(gòu)建結(jié)構(gòu)化知識庫為目的，本文完成了以下步驟的工作，并提出了以上困難的解決方案。具體內(nèi)容如下:
　　第一

3、，本文研究了HttpClient代理服務(wù)器使用動態(tài)IP下載數(shù)據(jù)的方法。針對豆瓣網(wǎng)、大眾點評網(wǎng)、百度百科、互動百科下載網(wǎng)頁源碼時遇到封禁IP的數(shù)據(jù)保護問題，采用HttpClient代理服務(wù)器開啟多線程并使用多個免費代理IP循環(huán)下載。
　　第二，對于半結(jié)構(gòu)化數(shù)據(jù)的抽取，研究了一種基于正則表達式的半自動抽取方法。根據(jù)豆瓣、大眾點評、中文網(wǎng)絡(luò)百科中半結(jié)構(gòu)化數(shù)據(jù)的特點，結(jié)合正則與字符串匹配，提出了一種半自動的信息抽取方法。
　　第三，

4、對于非結(jié)構(gòu)化數(shù)據(jù)的抽取，研究了屬性構(gòu)建的方法。針對中文網(wǎng)絡(luò)百科非結(jié)構(gòu)化信息抽取中同一種屬性用詞不同，屬性多，且相同屬性與其他百科命名不一致，難以將不同的百科建立統(tǒng)一的知識庫問題，提出了屬性分層構(gòu)建、屬性統(tǒng)一的方法。
　　第四，使用資源描述框架三元組構(gòu)建知識庫。在得到結(jié)構(gòu)化數(shù)據(jù)之后，將這些數(shù)據(jù)整理為統(tǒng)一格式，然后使用資源描述框架三元組的方法將所獲取的不同來源的結(jié)構(gòu)化數(shù)據(jù)建立各自的知識庫。
　　本文以豆瓣網(wǎng)、大眾點評網(wǎng)、百度百科