面向企業(yè)信息的Web聚焦搜索的設計與實現(xiàn).pdf

1、TheDesignandImplementationofEnterpriseInformationOrientedWebFocusedSearchNanjingNormalUniversityFortheAcademicDegreeofMasterofEngineeringBYXinFanSupervisedbyAssociateProfJunshengZhouSchoolofComputerScienceandTechnoledgeN

2、anjingNormalUniversityMarch2013摘要摘要從海量網絡資源中獲取企業(yè)基本信息，為企業(yè)的客戶關系管理、潛在競爭對手發(fā)現(xiàn)等提供信息支持，對于企業(yè)的生存和發(fā)展壯大具有重要意義。鑒于通用搜索引擎處理這類問題時存在的局限性，本文設計實現(xiàn)了面向企業(yè)信息的聚焦搜索來滿足此類需求。Web中的企業(yè)信息頁面可以分為兩大類：企業(yè)信息以結構化表格形式呈現(xiàn)的POI頁面、企業(yè)信息以非結構化文本形式呈現(xiàn)的TOI頁面。兩類頁面結構差異較大，聚

3、焦搜索過程需分開進行。聚焦爬蟲和信息抽取是實現(xiàn)聚焦搜索的兩個核心任務，圍繞聚焦搜索的這兩個核心任務，且面向企業(yè)信息的兩種不同表現(xiàn)形式，本文主要展開了如下幾個方面的研究工作：1、面向POI的聚焦爬蟲。現(xiàn)有聚焦爬蟲研究多是面向主題的，對于面向POI的用戶需求目前還較缺乏相關研究。本文利用樸素貝葉斯與支持向量機等分類器模型，通過設計有效的特征模板，實現(xiàn)了面向POI的聚焦爬蟲。實驗結果表明利用爬蟲對面向POI的用戶需求進行聚焦是可行的。2、面向

4、TOI的聚焦爬蟲。現(xiàn)有聚焦爬蟲在處理文本頁面時，大多直接對頁面內的所有文本進行處理，這就引入了較多的噪音內容。本文采用改進的頁面相關性分析算法，僅獲取與主題最相關的五塊文本，對不同塊賦予相應的權重，利用分類模型方法判斷整體的相關性，實現(xiàn)了面向TOI的聚焦爬蟲。實驗也采用樸素貝葉斯和支持向量機分類模型，實驗結果與基于頁面全部文本實現(xiàn)的聚焦爬蟲Baseline系統(tǒng)相比，收獲率平均高出20％左右，最高差值可達5135％，充分說明了改進的頁面相

5、關性算法是非常有效的。3、企業(yè)信息抽取。以聚焦爬蟲獲取的相關網頁集為數(shù)據源，抽取POI域、TOI域內的企業(yè)信息。POI域內的企業(yè)信息布局規(guī)范，結構規(guī)律性較強，因此僅采用包裝器方式對相對簡單的POI域進行信息抽取。對于相對較復雜的TOI域內的企業(yè)信息，本文采用統(tǒng)計學習模型將任務分解為兩步進行抽?。合扰袛嘁粋€句子是否包含槽信息，然后判斷句中短語所屬的槽類別，根據句子和短語的聯(lián)合概率確定最終的槽填充內容。實驗定義了8種企業(yè)屬性作為待填充槽，各