本教程使用三個爬蟲案例讓學生了解scrappy框架,理解scrappy架構,熟悉scrappy模塊。
本教程的大致內容:
1和Scrapy介紹。
主要知識點:Scrapy的結構和操作流程。
2、構建開發環境:
主要知識點:Windows和Linux環境下Scrapy的安裝。
3.Scrapy外殼和Scrapy選擇器的使用。
4.使用Scrapy抓取網站信息。
主要知識點:創建壹個Scrapy start項目,定義提取的結構化數據(Item),編寫蜘蛛抓取網站並提取結構化數據(Item),編寫Item Pipelines存儲提取的項(即結構化數據)。