現在有很多免費的數據可供分析,但是很少有人能找到或者是找不到。這就是所謂的信息鴻溝。其實數據采集分兩個方面,壹個是“拿來”的數據,是現成的;第二種是“抓取”數據,壹般通過爬蟲的方式收集。
“拿來”的數據可以在各大官方平臺或社區找到,壹般各行各業都會有自己的數據庫。我經常使用的數據網站如下:
百度指數:百度搜索收集的數據可以顯示各種關鍵詞的搜索熱度趨勢。它具有數據量大的優點,能夠反映話題熱度的真實變化。適用於需求洞察、用戶畫像、輿情監測、市場分析。
百度指數規則是以網民在百度的搜索量為基礎,以關鍵詞為統計對象,科學地分析計算每個關鍵詞在百度網頁搜索中搜索頻率的加權和。
微信指數:微信生態的大數據,反映關鍵詞的流行程度,類似於百度指數。但微信指數的數據來自微信的各種內容渠道,包括搜索、視頻號、微信官方賬號等。,適用於微信生態人群畫像、內容推廣、輿情監測的研究。
Google Trends:類似百度指數的產品,基於Google生態總結的大數據。與百度相比,數據來源更加豐富和廣泛,包括google和youtube等。畢竟是全球應用。缺點是對國內搜索分析指導意義不大,還是百度指數更有指導意義。
微博指數:以微博中的內容提及量、閱讀量、互動量為權重的綜合指數。其優點是時效性強,數據基數大,可以實時反映熱度的變化,適合實時捕捉當前社會熱點事件和熱點話題,快速應對輿情動向。
這類數據包括網站、app、自媒體賬號等監控數據,大部分是商家付費的。
Alexa:壹個查詢全球網站排名和流量的平臺。可以看到PV,UV,排名,地區分布等信息。
新榜:新媒體專屬數據平臺,用於查看Tik Tok、Aauto Quicker、微信官方賬號、小紅書等平臺的KOL賬號數據。數據包括粉絲、瀏覽、互動、音量等。,壹般用於廣告監測和自媒體數據運營。
貓眼數據:影視相關數據。匯總了電影票房、網絡直播人氣、電視收視等數據,適用於票房預測和節目人氣監測。
艾瑞指數:APP、Web、手機的排名數據,包括各大移動設備安裝指數、APP人氣指數、PC Web人氣指數、在線廣告指數等。,適合做廣告營銷。
新浪財經數據中心:新浪財經大數據,匯總股票、基金、期貨、黃金、貨幣等各種金融數據。,品種齊全,並應有數據接口。
Wind:國內較早的金融數據服務商,數據類型最全,各種金融分析工具,也支持Python,r等量化分析,但是Wind很貴,個人很難負擔得起。
Tushare:免費的金融數據庫,支持Python接口,數據齊全,包括股票、基金、期權、債券、外匯、公司報表等各種金融數據。只要會用Python,就可以調用裏面的各種數據,非常方便。
這類壹般包括政府公開數據、統計數據、各種民生數據。
國家統計局:國內最權威的宏觀數據網站,包括人口、經濟、農業等。
上海公共數據開放平臺:上海各行各業的免費數據,開放給公眾下載,非常適合城市規劃分析。
其他城市官方數據:
這類數據適用於機器學習、統計分析、算法研究等。,是學術界和工業界用於數據驅動業務的典型數據。
Kaggle:全球最大的數據科學競賽平臺,谷歌旗下產品。Kaggle擁有豐富的數據集和各種解決方案,適合對數據感興趣的小夥伴研究學習。
天池:阿裏雲的數據競賽平臺也有很多質量比較高的競賽數據。