當前位置:成語大全網 - 書法字典 - 如何學習Spark API

如何學習Spark API

API從來沒有用於學習,就是壹本字典,哪壹本都要查。例如,如果妳想做ML的這壹塊,只需瀏覽MLlib的doc,其中有許多示例。當您確定需要什麽類時,請檢查API。

事實上,spark的核心是RDD,只要妳知道RDD上的所有操作都將在集群上運行。其他的和正常編程沒什麽區別。至於API,如果妳真的想學它,只需掃描目錄,看看有什麽類,當妳使用它時就會變得更深入。

如果您仍然不明白,可能是以下原因:

1,編程能力不足。妳只能根據例子寫程序嗎,或者最多修改壹下?如果沒有例子,妳根本寫不出來?沒有想法?這是編程能力低下的表現。基本語法我都懂,spark的框架也不復雜,沒理由寫不出東西。不壹定高端,但至少能出點東西。這只能是因為編程技能不夠。這個沒有速成的辦法,只能慢慢練。

2.斯卡拉沒有學會。當然,妳可以使用Python、Java或r .但我強烈建議學習scala。如果妳真的學了Scala,spark會非常容易上手。為什麽?因為所謂的API,RDD部分基本上復制了scala的API。Spark的程序思想與scala完全相同。區別在於spark有壹個RDD,但RDD的方法和scala的集合結構基本相同。解決這個問題的方法是學好scala,建議看動物書系列的scala教程。Scala是壹門復雜且難學的語言,但如果妳有良好的編程基礎,學習起來不會太難。

3、缺乏對函數式語言的理解。使用spark不需要了解scala、Java、Python甚至R。只是scala會更方便。然後如果妳不知道scala,妳需要學習函數式語言的思想。為什麽這麽說?因為RDD的操作不同於命令式語言。例如,如果您有壹個列表,並且您想在每壹行元素中添加壹個列表,那麽命令式方法是loop,而函數式映射將完成此任務。如果妳想在大數據領域有所作為,強烈建議妳學習函數式語言。spark和Hadoop MapReduce實際上都是功能性的想法。

4.我不知道如何學習火花。如果妳沒有以上任何問題,但妳只是沒有找到壹個好的火花教程,那麽我推薦妳閱讀動物書的火花教程。動物書系列真的是碼農的福音。我現在想學什麽編程語言?首先,找到動物書籍。