1，獲取網頁
獲取網頁可以簡單理解為向網頁的服務器發送web請求，然後服務器將網頁的源代碼返回給我們。通信的底層原理比較復雜，Python為我們打包了urllib庫和requests庫，讓我們可以非常簡單地發送各種形式的請求。
2.提取信息
獲得的網頁源代碼包含了大量的信息。如果我們想要提取我們需要的信息，我們需要進壹步篩選源代碼。可以選擇python中的re庫通過正則匹配提取信息，也可以使用BeautifulSoup庫(bs4)分析源代碼。除了自動編碼的優點，bs4庫還可以結構化的方式輸出源代碼信息，更容易理解和使用。
3.保存數據
提取出我們需要的有用信息後，需要用Python保存。可以使用內置函數open保存為文本數據，也可以使用第三方庫保存為其他形式的數據，比如可以通過熊貓庫保存為常見的xlsx數據，如果有圖片等非結構化數據，也可以通過pymongo庫保存為非結構化數據庫。
4.讓爬蟲自動運行
從獲取網頁到提取信息再到保存數據，我們可以將這些爬蟲代碼整合成壹個有效的爬蟲自動程序，在需要類似數據的時候隨時可以獲取。