當前位置:成語大全網 - 書法字典 - 火花的特性

火花的特性

速度快:Spark基於內存計算(當然有些計算是基於磁盤的,比如shuffle)。

易於開發:Spark的基於RDD的計算模型比Hadoop的基於Map-Reduce的計算模型更容易理解和開發,實現各種復雜功能更方便,比如二次排序、topn等。

超級多功能性:Spark提供了Spark RDD、Spark SQL、Spark Streaming、Spark MLlib、Spark GraphX等技術組件。,可以完成離線批處理、交互查詢、流計算、機器學習、圖計算等常見任務。壹站式大數據領域。

集成Hadoop:Spark不想成為大數據領域的“獨裁者”。壹個人占據了大數據領域的所有“地盤”,卻和Hadoop高度融合,兩者可以完美結合使用。Hadoop的HDFS、Hive、HBase負責存儲,YARN負責資源調度;Spark負責大數據計算。其實Hadoop+Spark的組合是壹個“雙贏”的組合。

活躍度極高:Spark是目前Apache基金會的頂級項目,全球有大量優秀的工程師是Spark的委托人。而且世界上很多頂尖的IT公司都在大規模使用Spark。