1990阿奇是加拿大麥吉爾大學計算機學院的師生開發的。那時候萬維網還沒有出現，人們使用FTP來享受通信資源。Archie可以定期收集和分析FTP服務器上的文件名信息，並提供對每個FTP主機中文件的搜索。用戶必須輸入確切的文件名進行搜索，Archie告訴用戶哪個FTP服務器可以下載文件。阿奇收集的信息資源雖然不是網頁(HTML文件)，但其工作原理和搜索引擎壹樣:自動收集信息資源，建立索引，提供檢索服務。所以阿奇是公認的現代搜索引擎鼻祖。
機器人這個詞對程序員來說有著特殊的含義。電腦機器人是指能以人類達不到的速度重復執行壹項任務的自動化程序。因為專門用來檢索信息的機器人程序像蜘蛛壹樣在網絡上爬行，所以搜索引擎的機器人程序被稱為蜘蛛程序。
馬修·格雷在1993年開發了萬維網漫遊者，這是第壹個利用HTML頁面之間的鏈接關系來探測萬維網規模的“機器人”程序。起初，它只是用來統計互聯網上的服務器數量，後來它也能夠捕捉網址(URL)。
1994年4月，兩位斯坦福大學的博士生楊致遠(楊致遠)和大衛·費羅***共同創立了雅虎。隨著訪問量和鏈接數的增加，雅虎目錄開始支持簡單的數據庫搜索。因為雅虎！的數據是人工輸入的，所以不能真正歸類為搜索引擎。事實上，它只是壹個可搜索的目錄。雅虎於2002年2月23日收購inktomi，2003年7月23日收購包括Fast和Altavista在內的Overture，2003年6月23日雅虎全資收購3721公司。
1994年初，華盛頓大學的學生布萊恩·平克頓(Brian Pinkerton)開始了他的小項目網絡爬蟲(WebCrawler)。1994年4月20日，WebCrawler只包含來自6000臺服務器的內容。WebCrawler是互聯網上第壹個支持搜索文檔所有單詞的全文搜索引擎。在它之前，用戶只能通過URL和摘要進行搜索，這些通常來自人工註釋或自動提取文本前100個單詞的程序。
1994年7月，卡內基梅隆大學的Michael Mauldin將John Leavitt的spider程序連接到其索引程序，並創建了Lycos。除了相關性排名，Lycos還提供前綴匹配和字符相似性限制。Lycos率先在搜索結果中使用網頁自動摘要，其最大的優勢是遠遠超過其他搜索引擎的數據量。
1994結尾，Infoseek正式出現。其友好的界面和大量的附加功能使其成為Lycos等搜索引擎的重要代表。
1995年，出現了壹種新形式的搜索引擎——元搜索引擎綜述。用戶只需要提交壹次搜索請求，由元搜索引擎負責轉換處理，提交給預先選擇的多個獨立搜索引擎，各個獨立搜索引擎返回的查詢結果全部收集處理後再返回給用戶。第壹個元搜索引擎是華盛頓大學的碩士生埃裏克·塞爾伯格和柳文歡·埃齊奧尼的Metacrawler。
1995 65438+2月，DEC正式發布AltaVista。AltaVista是第壹個支持自然語言搜索的搜索引擎，也是第壹個實現高級搜索語法(如and、OR、NOT等)的搜索引擎。).用戶可以使用AltaVista搜索新聞組並從互聯網上獲取文章，他們還可以在圖片名稱、標題、Java小程序和ActiveX對象中搜索單詞。AltaVista還聲稱是第壹個支持用戶向web索引數據庫提交或刪除URL的搜索引擎，並且它可以在24小時內啟動。AltaVista最有趣的新功能之壹是搜索所有帶有URL鏈接的網站。在面向用戶的界面上，AltaVista也做了很多創新。它將“提示”放在搜索框區域，幫助用戶更好地表達他們的搜索風格。這些提示經常更新，以至於用戶搜索幾次後，會看到很多自己可能永遠不知道的有趣功能。這壹系列功能逐漸被其他搜索引擎廣泛采用。1997年，AltaVista發布了壹個圖形演示系統LiveTopics，幫助用戶從成千上萬的搜索結果中找到自己想要的東西。
1995年9月26日，加州大學伯克利分校助理教授埃裏克·布魯爾(Eric Brewer)和博士生保羅·高蒂爾(Paul Gauthier)創辦了Inktomi。1996年5月20日，Inktomi公司成立，壹個強大的HotBot出現在世人面前。它聲稱每天可以抓取超過65438+1億頁的索引，因此有遠超其他搜索引擎的新內容。HotBot還使用cookie來存儲用戶的個人搜索偏好。
1997年8月，北極光搜索引擎正式出現。它曾經是數據庫最大的搜索引擎之壹。它沒有停止字。它有極好的時事新聞，壹個由超過7100個出版物組成的特殊收藏，以及壹個很好的高級搜索語法。它是第壹個支持搜索結果簡單自動分類的。
1998 10之前，Google只是斯坦福大學的壹個小項目，BackRub。1995年，博士生拉裏·佩奇開始研究搜索引擎設計，並於9月15日註冊了google.com的域名，1997。1997年底，在謝爾蓋·布林、斯科特·哈桑、艾倫·斯特倫伯格的參與下，BachRub開始提供Demo。1999年2月，Google完成了從Alpha版到Beta版的轉型。谷歌把1998年9月27日當做自己的生日。Google在Pagerank的基礎上判斷網頁的重要性，大大增強了搜索結果的相關性。谷歌的極客文化和不作惡為谷歌贏得了很高的聲譽和品牌口碑。2006年4月，谷歌公布了自己的中文名字“Google”，這是谷歌在非英語國家給出的第壹個名字。
Fast(Alltheweb)公司成立於1997，是挪威科技大學(NTNU)學術研究的副產品。1999年5月，發布了自己的搜索引擎AllTheWeb。Fast的目標是做全球最大最快的搜索引擎，這幾年已經接近了。Fast(Alltheweb)可以按ODP自動分類網頁，支持Flash和pdf搜索，支持多語言搜索，還提供新聞搜索、圖片搜索、視頻、MP3和FTP搜索，具有極其強大的高級搜索功能。(2003年2月25日，Fast的互聯網搜索部門被Overture收購)。
1996年8月，搜狐公司成立，做中文網站分類目錄，壹度有“出門找地圖，上網找搜狐”的美譽。隨著互聯網網站的迅速增加，這種人工編輯的分類目錄已經不再適用。2004年8月，搜狐成為獨立域名搜索網站“搜狗”，自稱“第三代搜索引擎”。
Openfind成立於1998 65438+10月，其技術源於臺灣中正大學吳生教授領導的GAIS實驗室。起初，Openfind只是壹個中文搜索引擎。在巔峰時期，它為三個著名的門戶網站提供中文搜索引擎:新浪、奇摩和雅虎。但2000年後，市場逐漸被百度和谷歌瓜分。2002年6月，Openfind基於GAIS30項目重新發布了Openfind搜索引擎的測試版，推出了PolyRankTM，並宣布已經積累了35億網頁，開始進軍英文搜索領域。
5438年6月+2000年10月，兩位北大校友，超鏈接分析的專利發明人、Infoseek前高級工程師李彥宏和他的朋友徐勇(加州伯克利博士後)在北京中關村創立了百度公司。Baidu.com搜索引擎測試版於2001年8月發布(百度只為搜狐、新浪、Tom等其他門戶網站提供搜索引擎)，百度搜索引擎於2001年10月22日正式發布，專註中文搜索。百度搜索引擎的其他功能還包括:百度快照、網頁預覽/所有網頁預覽、相關搜索詞、錯別字糾正提示、mp3搜索和Flash搜索。2002年3月Blitzen項目啟動後，技術升級明顯加快。後來又推出了貼吧、知道、地圖、國學、百科等壹系列產品，深受網友好評。2005年8月5日，在納斯達克上市，發行價27.00美元，代碼BIDU。開盤價66.00美元，收於122.54美元，漲幅353.85%，創下近5年來美股上市新股的最高漲幅紀錄。
2003年2月23日，65438，原慧聰搜索正式獨立運營，中國搜索成立。2004年2月，中國發布了桌面搜索引擎互聯網豬1.0。2006年3月，中搜更名為互聯網豬ig(互聯網網關)。
2005年6月，新浪正式推出自主研發的搜索引擎“愛文”。