基于貝葉斯推理的搜索引擎設計與實現(xiàn).pdf

1、伴隨Internet和Web技術的飛速發(fā)展,語音、視頻、網(wǎng)絡日志、互聯(lián)網(wǎng)搜索索引、互聯(lián)網(wǎng)文本文件等技術的廣泛使用帶來了數(shù)據(jù)量的急劇增長,這預示著大數(shù)據(jù)時代的到來。正是因為這個世界的不斷信息化、數(shù)字化的發(fā)展，搜索引擎技術就成為了人們獲取網(wǎng)絡信息資源的重要途徑，它的重要性深入人心。而普通的通用搜索引擎已經(jīng)很難快速、準確的找到用戶需要的網(wǎng)頁，所以垂直搜索引擎的產(chǎn)生就成為了必然。
　　本文探討了如何將樸素貝葉斯算法加入網(wǎng)絡爬蟲系統(tǒng)中，并利

2、用一個已搭建好的通用爬蟲系統(tǒng) Heritrix，使用樸素貝葉斯算法對網(wǎng)頁進行分類，即使是抽象的主題查詢也能保證查詢結果的查準率和查全率。在對網(wǎng)頁分類的過程中，首先要處理網(wǎng)頁內(nèi)容，所以我在設計中加入了中文分詞算法。前人的研究中主要是集中在基于規(guī)則和基于統(tǒng)計的分詞方法，歸納起來這些方法主要面臨的困難有：分詞規(guī)范、歧義切分和未定登錄詞的識別。為了解決這些問題，我們引入上下文信息的分詞方法，一方面由于得到上下文信息的指導，與基于詞典的方法一樣很

3、好的解決了分詞規(guī)范和歧義切分的問題，在獲取上下文信息中使用統(tǒng)計的方法，又很好的避免了未登錄詞對系統(tǒng)造成的影響。
　　算法中使用的貝葉斯學習就是根據(jù)先驗信息以概率的方法來預測未知事件發(fā)生的可能性。所以在運用于主題爬蟲的分類時，需要收集一些網(wǎng)頁用作訓練數(shù)據(jù)，提取特征詞屬于每個類別的先驗概率。樸素貝葉斯規(guī)定，給定的目標值性之間的相互條件必須是獨立的，應用到文本分類時，則規(guī)定詞匯在確定文本類別作用上是相互獨立的?；ヂ?lián)網(wǎng)這個非平穩(wěn)系統(tǒng)符合這