爬蟲是壹個自動程序，可以從網頁中抓取數據信息並保存。其原理是模擬壹個瀏覽器發送網絡請求，接受請求並響應，然後按照壹定的規則自動抓取互聯網數據。
搜索引擎使用這些爬行器從壹個網站爬行到另壹個網站，跟蹤網頁中的鏈接，並訪問更多的網頁。這個過程被稱為爬行，這些新的網站將被存儲在數據庫中以供搜索。簡而言之，爬蟲不斷訪問互聯網，然後從中獲取妳指定的信息並返回給妳。在我們的互聯網上，有無數的爬蟲隨時抓取數據，並返回給用戶。
爬蟲技術的作用
1，獲取網頁
獲取網頁可以簡單理解為向網頁的服務器發送web請求，然後服務器將網頁的源代碼返回給我們。通信的底層原理比較復雜，Python為我們打包了urllib庫和requests庫，讓我們可以非常簡單地發送各種形式的請求。
2.提取信息
獲得的網頁源代碼包含了大量的信息。如果我們想要提取我們需要的信息，我們需要進壹步篩選源代碼。可以選擇python中的re庫通過正則匹配提取信息，也可以使用BeautifulSoup庫(bs4)分析源代碼。除了自動編碼的優點，bs4庫還可以結構化的方式輸出源代碼信息，更容易理解和使用。
3.保存數據
提取出我們需要的有用信息後，需要用Python保存。可以使用內置函數open保存為文本數據，也可以使用第三方庫保存為其他形式的數據，比如可以通過熊貓庫保存為常見的xlsx數據，如果有圖片等非結構化數據，也可以通過pymongo庫保存為非結構化數據庫。