Spark SQL（PySpark）-SparkSession导入错误

Question

我试图使用Spark-Submit执行一个简单的Spark SQL代码(PySpark)，但收到以下错误。注意-我是在Spark2.x中运行的。

从pyspark.sql导入SparkSession imporderror:无法导入名称SparkSession

代码：

 from pyspark.sql import SparkSession
 PRICE_SQ_FT = "Price SQ Ft"

 if __name__ == "__main__":

  session = SparkSession.builder.appName("HousePriceSolution").getOrCreate()    
  realEstate = session.read \
  .option("header","true") \
  .option("inferSchema", value=True) \
  .csv("hdfs:............./RealEstate.csv")

  realEstate.groupBy("Location") \
  .avg(PRICE_SQ_FT) \
  .orderBy("avg(Price SQ FT)") \
  .show()
  session.stop()

Answer 1

可能spark-submit指向的是另一个版本的spark。使用以下命令检查spark-submit使用的spark版本：

spark-submit --version

如果spark-version是ok的，那么检查PythonPath包含什么(echo$PythonPath)，因为PythonPath有来自另一个Spark版本的pyspark库是正确的。如果PythonPath不包含pyspark库，则向其添加如下内容：

export PYTHONPATH=$PYTHONPATH:"$SPARK_HOME/python/lib/*"