Spark SQL到底是怎麽構建的？

下載並解壓Spark二進制包到壹個*nux機器上，用妳自己的路徑替換這段代碼的'/users/陸機/downloads/'部分，就是這個列表。

機器來執行SparkSQL代碼，在這個程序中，我創建了壹個很好的sqlContext，後面的部分就是SparkSQL教程。這是我更新版本1.3後的新版本。

改的程序，不出意外，1的版本。x就是這樣用的。

PS:對了，這是Python API，不是Scala的。

導入操作系統

導入系統

導入追溯

spark源文件夾的路徑

OS . environ[' SPARK _ HOME ']= "/用戶/陸機/下載/SPARK-1 . 3 . 0-bin-Hadoop 2.4 "

#將pyspark追加到Python路徑

sys . path . append("/用戶/陸機/下載/spark-1 . 3 . 0-bin-Hadoop 2.4/python/")

sys . path . append("/用戶/陸機/下載/spark-1 . 3 . 0-bin-Hadoop 2.4/python/lib/py4j-0 . 8 . 2 . 1-src . zip ")

#嘗試導入所需的模型

嘗試:

從pyspark導入SparkContext

從pyspark導入SparkConf

從pyspark.sql導入SQLContext，行

打印(“成功導入火花模塊”)

除了ImportError作為e:

print("不能導入Spark模塊{}"。format(traceback.format_exc()))

系統出口(1)

#配置火花環境

conf = SparkConf()。setAppName(“myApp”)。setMaster(“本地”)

sc = SparkContext(conf=conf)

sqlContext = SQLContext(sc)