互聯網搜索引擎搜索策略和算法的研究.pdf

1、現階段，互聯網行業(yè)的蓬勃發(fā)展是有目共睹的。以百度、阿里、騰訊為首的互聯網公司競相角逐，搶占著每一片互聯網市場，例如最近一年非?；鸬腛2O電商（online to offline，即線下商品，線上交易），2014年過年非常紅的微信紅包、百度的大數據遷徙等，互聯網都在深刻的改變著人們的生活。在互聯網的世界里，有一塊市場非常重要，它是互聯網的入口，80％以上的互聯網流量都需要經過它的分發(fā)，這就是搜索引擎。因為互聯網公司的網址實在太多，網頁數更

2、是可怕，Goo gle（谷歌）目前統計的數字是100億，大部分想去各家網站的人都會選擇通過搜索行為進行跳轉。從中我們可看出搜索引擎的好壞直接決定著人們的互聯網生活，決定著整個互聯網流量的分發(fā)，對整個互聯網生態(tài)都有很大的影響。
　　本文先簡單介紹了搜索引擎的背景和意義，說明了研究搜索引擎的重大意義。介紹了搜索引擎的國內外動態(tài)，重點介紹了Google和百度，這是現階段最成功的兩家搜索引擎，他們的現狀對搜索生態(tài)的發(fā)展至關重要，最后引出了

3、搜索引擎算法的現狀和不足，并提出了解決辦法。
　　現階段搜索引擎主要的搜索算法分爬取部分和排序部分。第二章重點介紹了現階段的爬蟲策略和排序策略，這些策略很多都是個人使用后的一些感觸。通過對算法的分析，提出了新的算法：爬取部分的廣度優(yōu)先搜索的并行化思想以及排序策略部分的頁面評分排序策略。
　　第三章從產品化策略去分析搜索引擎，單從搜索算法上去看搜索，并不是一個搜索引擎的全部，和真正的搜索引擎相差很遠。第三章通過在搜索引擎公司的

4、實習，學到了一個真正的搜索引擎是什么樣子的，單純的算法只是其中的一小部分，提出通過產品化的策略提升搜索引擎的搜索效果，并進行了詳細的介紹和分析。
　　第四章主要是針對第二章提出的兩種改進算法，在Linux系統上通過集成Nutch爬蟲[20]、Solr服務器（主流搜索引擎數據存儲服務器）、tomcat監(jiān)控器、中文分詞、前端頁面等控件，實現了一個真實的搜索引擎，并對其中很多的代碼進行修改，實現了廣度優(yōu)先并行化算法和頁面評分排序策略，通