當前位置:成語大全網 - 書法字典 - 刺兒頭爬蟲爬嗶哩嗶哩視頻標題和鏈接。

刺兒頭爬蟲爬嗶哩嗶哩視頻標題和鏈接。

學習了壹個下午後,我成功地爬出了嗶哩嗶哩的視頻數據和超鏈接(盡管方法很愚蠢)。但還是很有意思。我們在這裏記錄壹下過程。

請參閱/p/d2c8b1496949了解程序中使用的scrapy的安裝方法。在這裏,您可以直接使用CMD創建壹個scrapy項目,只需輸入scrapy startproject的名稱,就會在當前目錄中創建壹個新文件夾。將光盤放入該文件夾後,輸入scrapy genspider的名稱和目標URL以創建您的爬蟲程序文件(例如scrapy gen spider sample/v)。

成功創建爬蟲後,可以對其進行編輯,並且可以看到打開的爬蟲文件(本例中為sample.py)。

接下來,我們需要定義parse()函數,並使用Xpath選擇器提取網頁中的標簽內容。在這裏使用Xpath helper可以提高/v/digital(數字區域)的效率。

/v/音樂(音樂區)

雖然方法很笨,但當它最終成功運行時仍然非常高興。我以後會繼續研究爬行動物。愚蠢的方法終究不可取。