專(zhuān)家信息垂直搜索引擎關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著我國(guó)在科技獎(jiǎng)勵(lì)評(píng)審、科技成果評(píng)價(jià)和科技項(xiàng)目評(píng)估等領(lǐng)域工作的廣泛開(kāi)展,能否有合適、權(quán)威的專(zhuān)家參與進(jìn)來(lái),直接關(guān)系著這些工作的公平公正性。垂直搜索作為搜索引擎技術(shù)新興的研究熱點(diǎn),其專(zhuān)注具體、深入的縱向服務(wù),致力于某一特定領(lǐng)域內(nèi)信息的全面和內(nèi)容的深入。我們通過(guò)將垂直搜索技術(shù)引入專(zhuān)家信息的搜索服務(wù)中來(lái),可以極大改善專(zhuān)家信息搜索的效果。
　　 按照搜索引擎的一般開(kāi)發(fā)流程,結(jié)合專(zhuān)家信息領(lǐng)域的自身特點(diǎn),對(duì)專(zhuān)家信息垂直搜索引擎兩大關(guān)鍵問(wèn)題進(jìn)行

2、了研究和實(shí)現(xiàn)。
　　 其一,Deep Web網(wǎng)絡(luò)蜘蛛。專(zhuān)家信息數(shù)據(jù)源中大量Deep Web的存在,使得普通網(wǎng)絡(luò)蜘蛛的抓取效果并不理想。為了保證專(zhuān)家信息抓取的準(zhǔn)確率和完整率,本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于Web自動(dòng)化測(cè)試工具--WatiJ的Deep Web網(wǎng)絡(luò)蜘蛛。闡述了利用WatiJ實(shí)現(xiàn)用戶提交查詢表單、循環(huán)點(diǎn)擊翻頁(yè)按鈕等擬人交互方式的原理,通過(guò)實(shí)例給出了動(dòng)態(tài)網(wǎng)頁(yè)抓取的關(guān)鍵步驟。實(shí)驗(yàn)結(jié)果表明,該蜘蛛是針對(duì)授權(quán)數(shù)據(jù)源進(jìn)行動(dòng)態(tài)網(wǎng)頁(yè)抓取行之