1,ProxyGetter,代理獲取的相關代碼,可以在網站上搶免費代理。經過測試,每天更新的可用代理只有六七十個,當然也支持自己擴展代理接口。
2,api,api接口相關代碼,目前Api是用Flask實現的,代碼很簡單。客戶端請求傳遞給Flask,Flask調用ProxyManager中的實現,包括get/delete/refresh/get_all。
3.Util用於存儲壹些公共模塊方法或函數,包括GetConfig:讀取配置文件config.ini的類,ConfigParse:重寫ConfigParser使其區分大小寫的類,Singleton:Singleton,LazyProperty:類屬性的惰性計算。
4,DB,數據庫相關代碼,當前數據庫是SSDB。代碼以工廠模式實現,方便以後擴展其他類型的數據庫。
5.日程安排,定時任務相關代碼。現在只是定期刷新代碼,驗證可用代理,采用多進程模式。
6.Manager、get/delete/refresh/get_all等接口的具體實現類。代理池目前只負責管理代理,未來可能會有更多的功能,比如代理和爬蟲的綁定,代理和賬號的綁定等等。
7.其他文件,配置文件:Config.ini,數據庫配置,代理采集接口配置。您可以向GetFreeProxy添加壹個新的代理獲取方法,並在Config.ini中註冊它以使用它。您通常按照這些方法來構建可用的代理IP池嗎?如果沒有,也可以參考以下。如果想快速方便有效,可以用http。ipIDEA全球http日IP量9,000 W,包含全球240+地區的IP,足以滿足大需求的標準。