所有搜索引擎的始祖是蒙特利爾麥吉爾大學的艾倫·恩塔奇、彼得·多伊奇和比爾·惠蘭在1990年發明的阿奇·常見問題。那時候萬維網還沒有出現。Archie是第壹個在互聯網上自動索引匿名FTP網站文件的程序，但它不是壹個真正的搜索引擎。Archie是壹個可搜索的FTP文件名列表。用戶必須輸入準確的文件名搜索，然後Archie會告訴用戶哪個FTP地址可以下載文件。
受Archie受歡迎程度的啟發，內華達系統計算服務大學在1993開發了壹個Gopher(Gopher FAQ)搜索工具Veronica(Veronica FAQ)。Jughead是後來的另壹個地鼠搜索工具。
因為專門用於檢索信息的機器人程序像蜘蛛壹樣在網絡上爬行，所以搜索引擎的機器人程序被稱為蜘蛛FAQ程序。世界上第壹個蜘蛛程序，麻省理工學院馬修·格雷分校的萬維網漫遊者，被用來跟蹤互聯網發展的規模。起初，它只是用來統計互聯網上的服務器數量。後來，它被開發用來捕捉網址。
對應漫遊者，1993 10年6月，Martijn Koster創建了阿裏Web (Martijn Koster公告阿裏Web的可用性)，相當於HTTP版的Archie。ALIWEB不使用互聯網搜索機器人。如果網站管理員希望自己的網頁被收錄到ALIWEB中，需要提交自己的每個網頁的介紹和索引信息，類似於後來眾所周知的Yahoo。
1993年底，壹些基於這個原理的搜索引擎開始陸續出現。三個最著名的是:蘇格蘭的JumpStation，科羅拉多大學的Oliver McBryan的萬維網蠕蟲(McBryan的第壹個指令)和美國國家航空航天局的基於知識庫的軟件工程(RBSE) Spider。
1993年2月，六個斯坦福大學學生的想法是分析單詞之間的關系，以便更有效地搜索互聯網上的大量信息。這太令人興奮了。後來以概念搜索出名。2002年5月，被Infospace收購的Excite停止了自己的搜索引擎，轉而使用元搜索引擎Dogpile。
1994 1月，第壹個可搜索可瀏覽的目錄EINet Galaxy(Tradewave Galaxy)上線。除了網站搜索，還支持Gopher和Telnet搜索。
1994年4月，兩位斯坦福大學的博士生楊致遠(楊致遠)和大衛·費羅***，創立了雅虎。隨著訪問量和鏈接數的增加，雅虎目錄開始支持簡單的數據庫搜索。因為雅虎！的數據是人工輸入的，所以不能真正歸類為搜索引擎。事實上，它只是壹個可搜索的目錄。搜索效率明顯提高。(雅虎將使用Altavista、Inktomi和谷歌提供搜索引擎服務。)
1994年初，華盛頓大學計算機系學生布萊恩·平克頓開始了他的小項目“布萊恩·平克頓宣布網絡爬蟲的可用性”。1994年4月20日，WebCrawler只包含來自6000臺服務器的內容。WebCrawler是互聯網上第壹個支持搜索文檔所有單詞的全文搜索引擎。在它之前，用戶只能通過URL和摘要進行搜索，這些通常來自人工註釋或自動提取文本前100個單詞的程序。(後來webcrawler相繼被AOL和excite收購，現在使用Excite這樣的元搜索引擎Dogpile。)
Lycos(卡內基梅隆大學機器翻譯中心Lycos)是搜索引擎歷史上的另壹個重要進步。卡內基梅隆大學的Michael Mauldin將John Leavitt的蜘蛛程序與其索引程序連接起來，並創建了Lycos。7月20日，1994，數據量54000的Lycos正式發布。除了相關性排名，Lycos還提供前綴匹配和字符相似性限制。Lycos率先在搜索結果中使用網頁自動摘要，最大的優勢是遠遠超過其他搜索引擎的數據量:65438+8月0994-39.4萬篇文檔；1995 1月-1.5萬文檔；1996 11月-超過6000萬文檔。(註:1999年4月，Lycos停止了自己的蜘蛛，轉而由Fast提供搜索引擎服務。)
Infoseek是另壹個重要的搜索引擎。雖然該公司聲稱1994 1成立，但其搜索引擎直到年底才與公眾見面。起初，Infoseek只是壹個默默無聞的搜索引擎，緊隨雅虎之後。而Lycos，沒有什麽獨特的創新。但它的發展歷程和隨後的口碑證明，壹開始第壹個上臺並不總是重要的。Infoseek友好的用戶界面和大量的附加服務(如ups跟蹤、新聞、目錄等)使它越來越出名。6月1995+2月65438與網景公司的戰略協議使其成為壹個強大的搜索引擎:當用戶點擊網景瀏覽器上的搜索按鈕時，Infoseek的搜索服務就會彈出，而雅虎！提供這項服務。(註:Infoseek後來因其相關性而出名。2001年2月，Infoseek停止了自己的搜索引擎，開始使用Overture搜索結果。)
1995年，出現了壹種新形式的搜索引擎——元搜索引擎綜述。用戶只需提交壹次搜索請求，元搜索引擎負責轉換處理後提交給多個預選的獨立搜索引擎，獨立搜索引擎返回的所有查詢結果都經過收集處理後返回給用戶。第壹個元搜索引擎是華盛頓大學的碩士生埃裏克·塞爾伯格和柳文歡·埃齊奧尼的Metacrawler。元搜索引擎在概念上聽起來不錯，但是搜索效果總是不盡如人意，所以從來沒有元搜索引擎有過強勢地位。
DEC的altavista(部分網友從2001夏天開始需要通過p-roxy訪問，qbseach搜索AltaVista沒有p-roxy可用，只能顯示搜索結果首頁)是後來者，直到1995 (AltaVista公測新聞稿)才出現。但大量的創新功能使其迅速達到了當時搜索引擎的巔峰。Altavista最突出的優勢是速度(搜索引擎9238:搞笑，altavista是為了展示DEC Alpha芯片強大的計算能力)。Altavista的其他新功能永遠改變了搜索引擎的定義。AltaVista是第壹個支持自然語言搜索的搜索引擎，AltaVista是第壹個實現高級搜索語法(如and、OR、NOT等)的搜索引擎。).用戶可以使用AltaVista搜索新聞組並從互聯網上獲取文章，他們還可以在圖片名稱、標題、Java小程序和ActiveX對象中搜索單詞。AltaVista還聲稱是第壹個支持用戶向web索引數據庫提交或刪除URL的搜索引擎，並且它可以在24小時內啟動。AltaVista最有趣的新功能之壹是搜索所有帶有URL鏈接的網站。在面向用戶的界面上，AltaVista也做了很多創新。它將“提示”放在搜索框區域，幫助用戶更好地表達他們的搜索風格。這些提示經常更新，以至於用戶搜索幾次後，會看到很多自己可能永遠不知道的有趣功能。這壹系列功能逐漸被其他搜索引擎廣泛采用。1997年，AltaVista發布了壹個圖形演示系統LiveTopics，幫助用戶從成千上萬的搜索結果中找到自己想要的東西。
然後是HotBot。1995年9月26日，加州伯克利的CS助教Eric Brewer和博士生Paul Gauthier創辦了Inktomi(UC Berkeley announcements Inktomi)。1996年5月20日，Inktomi公司成立，壹個強大的HotBot出現在世人面前。它聲稱每天可以抓取超過65438+1億頁的索引，因此有遠超其他搜索引擎的新內容。HotBot還使用cookie來存儲用戶的個人搜索偏好。(Hotbot是隨後幾年最受歡迎的搜索引擎之壹，被Lycos收購)
Northernlight公司於1995年9月在馬薩諸塞州劍橋成立，1995。8月，1997，Northernlight搜索引擎正式出現。它曾經是數據庫最大的搜索引擎之壹。它沒有停止字。它有極好的時事新聞，壹個由超過7100個出版物組成的特殊收藏，以及壹個很好的高級搜索語法。它是第壹個支持搜索結果簡單自動分類的。(2002年6月5438+10月65438+6月6日，北極光搜索引擎關閉，隨後被divine收購。但在Nlresearch中，選擇了“僅萬維網”，仍可使用Northernlight搜索引擎。)
在1998 10之前，Google只是斯坦福大學的壹個小項目。1995年，博士生拉裏·佩奇開始研究搜索引擎設計，並於9月15日註冊了google.com的域名，1997。1997年底，在謝爾蓋·布林、斯科特·哈桑、艾倫·斯特倫伯格的參與下，BachRub開始提供Demo。1999年2月，Google完成了從Alpha版到Beta版的轉型。谷歌把1998年9月27日當做自己的生日。
Google在整合搜索、多語言支持、用戶界面等功能上的創新，如Pagerank、動態摘要、網頁快照、DailyRefresh、多文檔格式支持、map stock字典搜索等，又壹次像Altavista壹樣永遠改變了搜索引擎的定義。
在2000年年中之前，谷歌因其搜索準確性而備受推崇，但由於其數據庫沒有其他搜索引擎大，缺乏先進的搜索語法，使用價值不是很高，推廣也不快。直到2000年年中數據庫升級，才被雅虎選為搜索引擎。
Fast(Alltheweb)公司成立於1997，是挪威科技大學(NTNU)學術研究的副產品。1999年5月，發布了自己的搜索引擎AllTheWeb。Fast的目標是做全球最大最快的搜索引擎，這幾年已經接近了。Fast(Alltheweb)可以按ODP自動分類網頁，支持Flash和pdf搜索，支持多語言搜索，還提供新聞搜索、圖片搜索、視頻、MP3和FTP搜索，具有極其強大的高級搜索功能。
Teoma源於1998羅格斯大學的壹個項目。Apostolos Gerasoulis教授帶領華裔教授楊韜等人在新澤西皮斯卡塔韋創建了Teoma，於2001年春季首次亮相，2001年9月被Ask Jeeves收購，2002年4月再次發行。Teoma的數據庫仍然很小，但它有兩個輝煌的功能:支持Refine類似於自動分類；同時，還提供了專業鏈接目錄資源。
Wisenut由韓裔尹汝傑創立。2001春季發布測試版，2006 54 38+0 9月5日發布正式版。2002年4月，它被分類目錄提供商looksmart收購。Wisenut還有兩個高明的功能:WiseGuide包含相似的自動分類和相關的搜索詞；預覽搜索結果。
Gigablast由前Infoseek工程師Matt Wells創立。2002年3月顯示pre-Beta版，2002年7月21日發布Beta版。Gigablast的數據庫目前還很小，但也提供網頁快照。壹個特殊的功能是實時索引網頁，妳的網頁壹提交就能被搜索到(註:垃圾郵件發送者的肉包子功能暫時關閉)。
Openfind成立於1998 65438+10月，其技術源於臺灣中正大學吳生教授領導的GAIS實驗室。起初，Openfind只是壹個中文搜索引擎。曾經是最好的中文搜索引擎。巔峰時期為新浪、奇摩、雅虎三大著名門戶網站提供中文搜索引擎，但2000年後市場逐漸被百度、谷歌瓜分。2002年6月，Openfind基於GAIS30項目重新發布了Openfind搜索引擎的測試版，推出了PolyRankTM，並宣布已經積累了35億網頁，開始進軍英文搜索領域。此後，技術升級明顯加快。
北大天網是九五國家重點科技項目“中英文中文編碼與分布式信息發現”的研究成果。由北京大學計算機系網絡與分布式系統研究室開發，於6月29日在CERNET上正式提供服務，1997。2000年初，新的天網搜索引擎研究組成立，由國家973重點基礎研究發展規劃項目基金資助開發，收錄網頁約6000萬。利用教育網的優勢，擁有強大的ftp搜索功能。
百度5438年6月+2000年10月，Hyperchain Analysis的專利發明人、原Infoseek高級工程師李彥宏和他的朋友徐勇(加州伯克利博士)在北京中關村創立了百度公司。Baidu.com搜索引擎測試版於2001年8月發布(百度僅提供搜狐、新浪、Tom等其他門戶的搜索引擎)，百度搜索引擎於2001 10年10月22日正式發布。百度雖然只提供中文搜索，但目前包含了9000多萬個中文網頁，可能是最大的中文數據庫。百度搜索引擎的其他功能還包括:網頁快照、網頁預覽/所有網頁預覽、相關搜索詞、錯別字糾正提示、新聞搜索、Flash搜索和信息快車搜索。2002年3月Blitzen項目啟動後，技術升級明顯加快。