會不會所有系統都是spark做的？

王駕林每日星火行情0001騰訊的星火集群已經達到8000的規模，是目前已知最大的星火集群，每天運行超過1000個工作崗位。王駕林每日星火行情0002Spark幾乎完美實現了基於RDD的分布式內存抽象，可以基於位置感知調度、自動容錯、負載均衡、高可擴展性。在Spark中，允許用戶在執行多個查詢時顯式緩存後續查詢的工作集，大大提高了查詢速度。王駕林每日星火行情0003Spark的壹體化多元化解決方案，大大降低了開發維護的人力成本和部署平臺的材料成本，性能上有很大優勢，特別適合叠代計算，如機器學習、圖計算等；同時，Spark對Scala和Python交互shell的支持，也極大地方便了直接通過shell使用Spark cluster來驗證問題的解決方案，這對於原型開發非常重要，對數據分析師有著不可抗拒的吸引力！《王駕林日報》0004公園語錄中的RDD采用高度受限的分布式* * *內存，新RDD的生成只能通過在其他RDD上的批量操作來創建，依靠以RDD血統為核心的容錯處理，在叠代計算上比Hadoop快20倍以上，還可以在5~7秒內交互查詢TB級數據集。王駕林每日星火行情0005星火RDD被分割。對於RDD，每個分區將由壹個計算任務處理，並行計算的粒度將被確定。RD的每次轉換操作都會生成壹個新的RDD。生成RDD時，通常可以指定分區的數量。如果不指定分區的數量，當從集合中創建RDD時，它默認為分配給程序的資源的CPU核心數量。如果它是從HDFS文件創建的，則默認為文件的塊數。王駕林每日星火語錄0006基於RDD的整個計算過程都發生在職工的執行者身上。RDD支持三種類型的操作:轉換、動作和以持久化和檢查點為代表的控制類型操作。RDD壹般從外部數據源讀取數據，經過多次RDD轉換(為了容錯和提高效率，中間可能會用到Persist和CheckPoint)，結果壹般通過Action類型操作寫回外部存儲系統。王駕林每日星火行情0007RDD的所有轉化操作都是偷懶。實際上，這些轉換操作的RDD只是被記錄下來，並將在Action操作之前作用於基本數據集。只有當驅動程序需要返回結果時，這些轉換rdd才會真正作用於數據集。基於這種設計的調度方式和運行方式將使Spark運行更加高效。王駕林每日大數據報價Spark 0008(北京2015.10.31)王駕林每日大數據報價Spark 0008(北京2015.10.31):持久性(包括內存、磁盤、超光速子等)。)是Spark構建叠代算法和快速交互查詢的關鍵。當通過persist持久化壹個RDD時，每個節點會將計算出的分割結果保存在內存或磁盤或Tachyon中，對這個數據集或派生數據集的其他操作級炒作可以重用當前RDD的計算結果，對於後續操作，通常會快10到100倍。王駕林每日大數據行情Spark 0009(北京2015.11)Spark的檢查點是通過計算完成後重新建立壹個作業來計算的，用戶可以通過調用RDD.checkpoint()來指定RDD需要檢查點的機制；為了避免重復計算，建議首先堅持RDD，這樣可以確保更快地完成檢查點。王駕林每日大數據行情Spark 0010(深市2015.11.2)Spark context是用戶程序與Spark的接口，負責連接Spark集群，根據系統默認配置和用戶設置申請計算資源，完成RDD的創建。王駕林每日大數據行情Spark 0011(深市2015.165438)RDD的saveAsTextFile方法會先生成壹個MapPartitionsRDD。RDD通過PairRDDFunctions的saveAsHadoopDataset方法將RDD數據的內容輸出到HDFS，最後調用SparkContext的runJob將計算任務真正提交給Spark cluster。王駕林每日大數據行情Spark 0012(深市2015.11.2)可以從兩個方面理解RDD之間的依賴關系，壹方面是RDD的母RDD是什麽，另壹方面是依賴於哪壹方(哪些方)。根據哪些部分依賴於母RDD的不同情況，Spark認為依賴可以分為兩種類型:廣義依賴和狹義依賴。王駕林每日大數據行情Spark 0013(2015.11.3廣州)RDD有兩種不同類型的依賴，狹義依賴和廣義依賴。窄依賴意味著每個父RDD的分區最多被壹個子RDD使用，而寬依賴意味著多個子RDD的分區將依賴於同壹個父RDD的分區。王駕林每日大數據行情Spark 0014(南寧2015.11.4)對於Spark中的join操作，如果每個分區只加入壹個特定的分區，則是狹義依賴；對於所有需要父RDD的分區的join操作，即需要shuffle，這就是廣泛依賴。王駕林每日大數據行情Spark 0015(南寧2015.11.5)Spark中的廣泛依賴是指生成的RDD的每個分區都依賴於父RDD的所有分區。廣泛依賴的典型操作有groupByKey、sortByKey等。廣依賴就是洗牌操作，這是Spark劃分階段邊界的基礎。Spark中的寬依賴支持兩種shuffle管理器，即HashShuffleManager和SortShuffleManager。前者是基於哈希的混洗機制，後者是基於排序的混洗機制。王駕林日報大數據行情Spark 0016(南寧2015.11.6)RDD在創建子RDD時會通過依賴關系定義它們之間的關系，子RDD可以得到父RDD(s)和父RDD(s)分區(s)。王駕林每日大數據行情Spark文章0017(南寧2015.165438)Spark的Stage中的每個分區都會被分配壹個計算任務，這些任務是並行的。階段之間的依賴關系就變成了壹個大粒度的DAG，階段只有在其沒有父階段或者父階段已經執行之後才能執行，也就是說DAG中的階段是從前到後依次執行的。王駕林每日大數據行情Spark 0018(南寧2015.11.7)Spark的reduceByKey操作時會觸發洗牌過程。在Shuffle之前，將有壹個本地聚合過程來產生MapPartitionsRDD。然後具體的Shuffle會生成ShuffledRDD，然後做全局聚合生成結果MapPartitionsRDD。王駕林日報大數據行情Spark 0019(重慶2015.11.10)park中的任務分為ShuffleMapTask和ResultTask兩種。在Spark中，DAG最後壹個階段中的任務是ResultTask，所有其他階段都是ShuffleMapTask。生成的任務將由驅動程序發送給被執行的執行器，執行具體的計算任務，執行的實現在TaskRunner.run方法中完成。王駕林每日大數據報價Spark 0020(重慶2015.11)包含不同的rdd，這些rdd對用戶的邏輯是顯式的。比如地圖操作會生成MapPartitionsRDD，而RDD是借助Spark框架隱式生成的。例如，reduceByKey操作期間的ShuffledRDD。王駕林每日大數據行情Spark文章0021(珠海2015.165438)Spark RDD實現了基於血統的容錯機制，基於RDD的各種變換構成了計算鏈，當部分計算結果丟失時可以基於血統，在狹義依賴中，當子RDD的分區丟失，需要重新計算父RDD分區時，父RDD對應分區的所有數據都是子RDD分區的數據，不存在冗余計算；在廣泛依賴的情況下，並不是每個父RDD因丟失壹個子RDD分區而重新計算的每個分區的數據都用於丟失的子RDD分區，有些數據相當於未丟失的子RDD分區中需要的數據，這將導致冗余的計算開銷和巨大的性能浪費。Spark 0022(珠海2015.11.18)，王駕林每日大數據行情，是通過寫RDD到磁盤來輔助Spark血統的容錯。如果血統太長，容錯成本太高。這時，檢查點容錯將在中間階段完成。如果以後出現節點問題，分區會丟失，就這麽辦。檢查點主要適用於以下兩種情況:1中的血統。DAG太長，重新計算的話代價太大，比如PageRank，ALS等。；2.特別適用於依賴度廣的檢查點，此時可以避免血統重算帶來的冗余計算。