搜索引擎的產(chǎn)生背景

1、搜索引擎技術(shù)的理解認(rèn)識1一、一、搜索引擎技術(shù)的產(chǎn)生背景搜索引擎技術(shù)的產(chǎn)生背景搜索引擎是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息，在對信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費(fèi)鏈接列表等。百度和谷歌等是搜索引擎的代表搜索引擎的發(fā)生背景在因特網(wǎng)發(fā)展初期，網(wǎng)站相對較少，新聞查找比較容易。然而隨著新聞

2、技術(shù)的飛速發(fā)展，特別是因特網(wǎng)應(yīng)用的迅速普及，網(wǎng)站越來越多，并且每天全球互聯(lián)網(wǎng)網(wǎng)頁數(shù)目以千萬級的數(shù)量增加。要在浩瀚的網(wǎng)絡(luò)新聞中尋找所需要的材料無異于大海撈針。這時(shí)為滿足人人新聞檢索需求的搜索網(wǎng)站應(yīng)運(yùn)而生。搜索引擎從發(fā)生到發(fā)展大概閱歷履歷了如下四個(gè)步驟:(1)Archie的出現(xiàn)Archie已經(jīng)具備了現(xiàn)代搜索引擎的雛形。1990年，加拿大蒙特利爾大學(xué)艾倫伊米杰等三個(gè)學(xué)生在查詢文件的時(shí)候感觸非常不便，當(dāng)時(shí)需要到散布在各個(gè)地方的FIP主機(jī)中去搜索

3、，于是他們?nèi)碎_發(fā)了用文件稱號查找文件體例的想法。經(jīng)過精心設(shè)計(jì)，終于開發(fā)出了Archie程序。Archie是第一個(gè)自動(dòng)搜索互聯(lián)網(wǎng)上匿名FTP網(wǎng)站文件的程序。Archie是一個(gè)可搜索的FTP文件稱號排列表，當(dāng)用戶輸入精確的文件稱號時(shí)，Archie會告訴用戶哪一個(gè)FTP地址可以下載該文件。Archie還不是真正的搜索引擎，只是實(shí)現(xiàn)了自動(dòng)索引互聯(lián)網(wǎng)上匿名FIP網(wǎng)站文件的技術(shù)，但無疑是在搜索引擎技術(shù)發(fā)展上邁出的第一步。(2)Spider的出現(xiàn)為

4、搜索引擎的發(fā)展奠定了基礎(chǔ)，由于特地用于檢索新聞的機(jī)器人(Robot)程序像蜘蛛(Spider)一樣在網(wǎng)絡(luò)間爬來爬去，因此，Robot程序又被稱之為Spider程序。世界上第一個(gè)Spider程序，是由1993年6月美國麻省理工學(xué)院學(xué)生馬杰杰瑞開發(fā)出來的，它可以用來捕捉互聯(lián)網(wǎng)上的網(wǎng)址，追蹤互聯(lián)網(wǎng)發(fā)展規(guī)模。雖然它也還不是真正意義上的搜索引擎，但Werer的原理與技術(shù)已經(jīng)被今天的搜索引擎廣泛采用。隨著互聯(lián)網(wǎng)的迅速發(fā)展，使得檢索所有新出現(xiàn)的網(wǎng)頁變

5、得越來越困難，因此，在wwwWerer基礎(chǔ)上，一些編程者將傳統(tǒng)的spider程序工作原理作了些改進(jìn)。其原理是，既然所有網(wǎng)頁都可能有連向其他網(wǎng)站的鏈接，那么從跟蹤一個(gè)網(wǎng)站的鏈接開始，優(yōu)化。就有可能檢索整個(gè)互聯(lián)網(wǎng)。到1993年底，一些基于此原理的搜索引擎開始紛繁涌現(xiàn)，其中以Jumpstinsideion、TheWldWideWebWm(Goto的前身，也就是今天Overture)，和Reposity—BasedSoftwareEnginee

6、ring(RBSE)最負(fù)盈盛名。然而Jumpstinsideion和wwwwo只是以搜索工具在數(shù)據(jù)庫中找到匹配新聞的先后次序排列搜索結(jié)果，因此毫無新聞關(guān)聯(lián)度可言。而RBSE是是第一個(gè)索引HTML文件正文的搜索引擎，是第一個(gè)在搜索結(jié)果排列中引入關(guān)鍵字串匹配程度概念的引擎。(3)Lycos的發(fā)明Lycos(CarnegieMellonUniversityCenterfMac^ineTranslinsideionAnnouncesLycos)

7、是搜索引擎史上又一個(gè)重要的進(jìn)步。CarnegieMellonUniversity的MichaelMauldin將JohnLeavitt的spider程序接入到其索引程序中，創(chuàng)建了Lycos。1994年7月20日，Lycos正式發(fā)布。除了相關(guān)性排序外，Lycos還提供了前綴匹配和字符相近限制，Lycos第一個(gè)在搜索結(jié)果中使用了網(wǎng)頁自動(dòng)摘要，而最大的優(yōu)勢還是它遠(yuǎn)勝過其它搜索引擎的數(shù)據(jù)量。同時(shí)期的Infoseek(SteveKirschAnn

8、ouncesFreeDemosOftheInfoseekSearchEngine)是另一個(gè)重要的搜索引擎。起初，Infoseek只是一個(gè)不起眼的搜索引擎，它搜索引擎技術(shù)的理解認(rèn)識32、優(yōu)秀搜索引擎的基本特點(diǎn)目前各種各樣的中西文搜索有10余種或更多比較著名的搜索引擎有Yahoo、Excite、InfoSeek。一個(gè)優(yōu)秀的搜索引擎應(yīng)具有以Lycos、ltaVista等。以下幾個(gè)特點(diǎn):(1)支持全文檢索(FullTextSearch)。全文搜

9、索引擎的優(yōu)點(diǎn)是查詢?nèi)娑浞钟脩裟軌驅(qū)Ω骶W(wǎng)站的每篇文章中的每個(gè)詞進(jìn)行搜索。當(dāng)全文搜索引擎遇到一個(gè)網(wǎng)站時(shí)會將該網(wǎng)站上所有的文章(網(wǎng)頁)全部獲取下來并收入到引擎的數(shù)據(jù)庫中。只要用戶輸入查詢的“關(guān)鍵字”在引擎庫的某篇文章中出現(xiàn)過則這篇文章就會作為匹配結(jié)果返回給用戶。(2)支持目錄式分類結(jié)構(gòu)(Directy)。分類搜索引擎的優(yōu)點(diǎn)是將信息系統(tǒng)地分門歸類當(dāng)遇到一個(gè)網(wǎng)站時(shí)它并不像全文搜索引擎那樣將網(wǎng)站上的所有文章和信息都收錄進(jìn)去而是首先將該網(wǎng)站劃分到

10、某個(gè)分類下再記錄一些摘要信息對該網(wǎng)站進(jìn)行概述性的簡要介紹。最具代表性的目錄式分類搜索引擎是Yahoo網(wǎng)站。(3)能夠區(qū)分搜索結(jié)果的相關(guān)性(Pertinency)。搜索引擎應(yīng)該能夠找到與搜索要求相對應(yīng)的站點(diǎn)并按其相關(guān)程度將搜索結(jié)果排序。(4)檢索方法多樣查找手段完備。(5)其他性能。一個(gè)優(yōu)秀的搜索引擎產(chǎn)品還必須查詢速度快具有較好的可維護(hù)、可更新性能?，F(xiàn)有的搜索引擎在信息維護(hù)、信息重復(fù)、網(wǎng)絡(luò)及站點(diǎn)負(fù)載方面還存在很多的不足索引數(shù)據(jù)庫往往很大檢

11、索的查準(zhǔn)率不高。現(xiàn)有搜索引擎的缺陷:(1)運(yùn)算符合布爾運(yùn)算組合運(yùn)用數(shù)量有限(2)僅使用關(guān)鍵詞提問但關(guān)鍵詞檢索不能完全滿足用戶的要求而且它是一種盲目的匹配(3)不能檢索歷史信息(4)簡單的結(jié)果表示方法使用戶顯得茫無頭緒(5)單個(gè)引擎的限制。3、搜索引擎的語法規(guī)則如果想要得到最佳的搜索效果就要使用搜索的基本語法來組織要搜索的條件。(1)使用邏輯操作符。搜索引擎中常用的操作邏輯符是:、、NOT、表示邏輯“與”可用“&”表示表示邏輯“或”可用“

12、”來表示NOT表示邏輯“非”可用“!”來表示。(2)使用“、”連接號和通配符。4、搜索引擎研究的主要問題由于現(xiàn)有的搜索引擎有上述很多的缺陷因此搜索引擎仍是網(wǎng)絡(luò)和情報(bào)檢索的研究熱點(diǎn)。當(dāng)前主要的研究熱點(diǎn)有:(1)能充分表達(dá)用戶查詢要求的查詢語言。一套能充分表達(dá)用戶要求但又不增加網(wǎng)絡(luò)負(fù)載的查詢語言是搜索給用戶的第一個(gè)良好印象。(2)索引數(shù)據(jù)庫的組織和管理。如何對大容量、非結(jié)構(gòu)化的信息進(jìn)行增、刪、改操作也是一個(gè)值得研究的問題。(3)信息的自動(dòng)加