當前位置:成語大全網 - 新華字典 - Python爬蟲筆記(二)requests模塊get,post,代理

Python爬蟲筆記(二)requests模塊get,post,代理

import requests

? base_url = ''

? response = requests.get(base_url)

url=請求url,

headers =請求頭字典,

params = 請求參數字典。

timeout = 超時時長,

)---->response對象

? 服務器響應包含:狀態行(協議,狀態碼)、響應頭,空行,響應正文

字符串格式:response.text

bytes類型:response.content

response.headers['cookie']

response.text獲取到的字符串類型的響應正文,

其實是通過下面的步驟獲取的:

response.text = response.content.decode(response.encoding)

產生的原因:編碼和解碼的編碼格式不壹致造成的。

str.encode('編碼')---將字符串按指定編碼解碼成bytes類型

bytes.decode('編碼')---將bytes類型按指定編碼編碼成字符串。

a、response.content.decode('頁面正確的編碼格式')

<meta 代理 :主要用telnet遠程控制,端口壹般為23

高度匿名代理:數據包會原封不動轉化,在服務段看來,就好像壹個普通用戶在訪問,做到完全隱藏ip。

普通匿名代理:數據包會做壹些改動,服務器有可能找到原ip。

透明代理:不但改動數據,還會告訴服務,是誰訪問的。

間諜代理:指組織或者個人用於記錄用戶傳輸數據,然後進行研究,監控等目的的代理。

? proxies = {

'代理服務器的類型':'代理ip'

? }

? response = requests.get(proxies = proxies)

? 代理服務器的類型:http,https,ftp

? 代理ip:http://ip:port