做法:傳統爬蟲從壹個或幾個初始網頁的URL開始,獲取初始網頁上的URL。在抓取網頁的過程中,它不斷從當前頁面中提取新的URL並將其放入隊列中,直到滿足系統的某些停止條件。聚焦爬蟲的工作流程復雜,需要根據壹定的網頁分析算法過濾與主題無關的鏈接,保留有用的鏈接並放入URL隊列中等待抓取。
然後,它將根據某種搜索策略從隊列中選擇下壹個URL,並重復上述過程,直到達到系統的某個條件。此外,爬蟲爬取的所有網頁都會被系統存儲,進行壹定程度的分析和過濾,並建立索引以供後期查詢和檢索;對於專註的爬蟲來說,在這個過程中獲得的分析結果也可能對後續的爬行過程給予反饋和指導。