HTTP的請求頭是壹組屬性和配置信息，每次向網絡服務器發送請求時都會傳遞這些信息。因為瀏覽器和Python爬蟲發送的請求頭是不同的，所以可能會被反爬蟲檢測到。
二、設置cookie的知識
Cookie是壹把雙刃劍，沒有它是不行的，更不用說沒有它了。網站會通過cookie跟蹤妳的訪問過程，如果發現妳有爬蟲行為，會立刻中斷妳的訪問，比如非常快速地填寫表格，或者短時間內瀏覽大量頁面。正確處理cookies可以避免很多收集問題。建議在收集網站的過程中，先檢查壹下這些網站產生的cookies，再想想爬蟲需要處理哪壹個。
第三，正常時間訪問路徑
合理控制采集速度是Python爬蟲不應該打破的規則。盡可能的給每個頁面訪問時間加壹點間隔，可以有效的幫妳避開反爬蟲。
第四，使用http
對於分布式爬蟲和已經遇到反爬蟲的人，使用http會是妳的首選。Ipidea分布廣泛，可以滿足分布式爬蟲的需求。支持api提取，非常適合Python爬蟲。