招聘信息垂直搜索引擎的研究與實(shí)現(xiàn).pdf

1、依托網(wǎng)絡(luò)的便捷和龐大的信息量，如今越來越多的人傾向于在網(wǎng)上尋找招聘信息。具體來說有兩個(gè)途徑，一個(gè)是通用搜索引擎，另一個(gè)是招聘網(wǎng)站。然而，通用搜索引擎，如百度、谷歌等，它們的爬蟲采集互聯(lián)網(wǎng)上的各類信息，滿足了搜索領(lǐng)域的廣泛性，但是搜索結(jié)果針對(duì)性不強(qiáng)。招聘網(wǎng)站在取得足夠的市場(chǎng)影響力之前，需要與各公司主動(dòng)聯(lián)系來獲取招聘信息，信息采集的成本較大。此外，面對(duì)海量的招聘信息，普通的單機(jī)多線程爬蟲已經(jīng)不能滿足性能需求。而一般的分布式爬蟲，雖然可以提高

2、信息采集的效率，但是它不能從眾多網(wǎng)頁(yè)中篩選出含有招聘信息內(nèi)容的頁(yè)面。另外，許多招聘信息搜索引擎功能匱乏，缺少如搜索結(jié)果分類、搜索關(guān)鍵詞建議等實(shí)用性功能。
　　針對(duì)上述問題，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)招聘信息垂直搜索引擎。它主要包含兩個(gè)部分:一個(gè)是分布式網(wǎng)絡(luò)爬蟲，它利用啟發(fā)式規(guī)則識(shí)別出招聘信息頁(yè)面，并以分布式的方式進(jìn)行網(wǎng)頁(yè)采集。另一個(gè)是搜索引擎，在倒排索引的基礎(chǔ)上，能夠提供查詢建議、分類導(dǎo)航和地圖查詢等實(shí)用性功能。論文的主要內(nèi)容如下:

3、r>　　(1)招聘信息垂直搜索引擎的總體架構(gòu)。數(shù)據(jù)層使用分布式數(shù)據(jù)庫(kù)HBase，解決了單機(jī)數(shù)據(jù)存儲(chǔ)空間不足的問題。核心業(yè)務(wù)層基于分布式計(jì)算框架Storm，使得網(wǎng)絡(luò)爬蟲能夠分布式工作，提高了計(jì)算效率。
　　(2)分布式網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)。使用了分布式消息隊(duì)列，它在網(wǎng)頁(yè)因?yàn)榫W(wǎng)絡(luò)原因或機(jī)器硬件故障而獲取失敗時(shí)，能夠根據(jù)鏈接的id重新獲取這個(gè)鏈接并再次進(jìn)行網(wǎng)頁(yè)的采集過程，保證了每一個(gè)鏈接對(duì)應(yīng)的網(wǎng)頁(yè)都能夠被采集到。其次，使用了哈希算法將抽

4、取到鏈接分組到分布式計(jì)算的各臺(tái)機(jī)器中，然后基于布隆過濾器對(duì)網(wǎng)頁(yè)采集過程中抽取到的相同鏈接進(jìn)行去重。此外，為了得到結(jié)構(gòu)化的招聘信息，先是利用了啟發(fā)式規(guī)則識(shí)別出招聘信息頁(yè)面，然后對(duì)采集到的招聘信息頁(yè)面進(jìn)行信息抽取。根據(jù)各信息在網(wǎng)頁(yè)中的HTML標(biāo)簽和屬性組合的方式來定位其位置，利用CSS選擇器語法將需要的招聘信息詳情抽取出來。
　　(3)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)。建立了倒排索引，設(shè)計(jì)并實(shí)現(xiàn)了查詢建議、分類導(dǎo)航和地圖查詢功能。查詢建議是對(duì)用戶