當前位置:成語大全網 - 書法字典 - 如何用python爬取js動態生成內容的頁面?

如何用python爬取js動態生成內容的頁面?

有兩種基本的解決方案來捕獲js動態生成內容的頁面。

1使用dryscrape庫動態抓取頁面

Js腳本由瀏覽器執行並返回信息。因此,捕捉js執行後的頁面的最直接方法之壹是用python模擬瀏覽器的行為。Webkit是壹個開源瀏覽器引擎。python提供了許多調用該引擎的庫,dryscrape就是其中之壹。它調用WebKit引擎來處理包含js等的網頁!

2 selenium web測試框架

Selenium是壹個web測試框架,它允許調用本地瀏覽器引擎發送網頁請求,因此也可以實現抓取網頁的要求。