1,弓箭手雲爬蟲。
Archer Cloud是壹個大數據應用開發平臺,為開發者提供壹整套數據采集、數據分析和機器學習開發工具,為企業提供專業的數據抓取、實時數據監控和數據分析服務。功能強大,涉及雲爬蟲、API、機器學習、數據清洗、數據售賣、數據訂購和私有化部署。
2.章魚
Octopus數據采集系統以自主研發的分布式雲計算平臺為核心,可以在極短的時間內輕松從各類網站或網頁獲取大量標準化數據,幫助任何需要從網頁獲取信息的客戶實現數據的自動采集、編輯和標準化,擺脫對人工搜索和數據采集的依賴,從而降低獲取信息的成本,提高效率。
3.將鵝毛筆放在soking上
GooSeeker的優勢很明顯,就是通用。對於簡單的網站,獲取xslt文件後爬蟲代碼幾乎不需要修改,可以結合scrapy使用,提高爬行速度。
簡介:
網絡爬蟲(Web crawler,也稱為web spider,web robot,在FOAF社區中,更常被稱為web chaser)是壹種按照壹定規則自動抓取萬維網上信息的程序或腳本。其他不常用的名字是螞蟻、自動索引、模擬器或蠕蟲。