1使用dryscrape庫動態抓取頁面
Js腳本由瀏覽器執行並返回信息。因此,捕捉js執行後的頁面的最直接方法之壹是用python模擬瀏覽器的行為。Webkit是壹個開源瀏覽器引擎。python提供了許多調用該引擎的庫,dryscrape就是其中之壹。它調用WebKit引擎來處理包含js等的網頁!
2 selenium web測試框架
Selenium是壹個web測試框架,它允許調用本地瀏覽器引擎發送網頁請求,因此也可以實現抓取網頁的要求。