Spark上下文问题

Question

    spark = SparkSession.builder.appName('QUEUEVQL').getOrCreate()
    jsonStrings = {"Name": "SRIDHAR", "Author": "jangcy", "BlogEntries": 100, "Caller": "jangcy"}
    dt = [jsonStrings]
    dfs = spark.createDataFrame(dt).collect()
    dfs2 = spark.sparkContext.parallelize(dfs).toDF()
    dfs2.createOrReplaceTempView("QVQL")
    resDf = spark.sql("select Name from QVQL")
    resDfPandas = resDf.toPandas()
    print(resDfPandas)

代码错误：

py4j。协议Py4JJavaError：调用o490时出错。collectToPython.：组织。阿帕奇。火花SparkException：作业因阶段失败而中止：阶段27.0中的任务0失败了4次，最近的失败：阶段27.0中的任务0.3丢失（TID 98）（172.17.7.28执行器1）：java。io。IOException：无法运行程序“python3.6”：CreateProcess错误=2，系统无法找到java中指定的文件。lang.ProcessBuilder。开始（ProcessBuilder.java:1048）

Answer 1

这应该是一个2行，如果您仍然收到错误，那么您缺少一些jar文件，如错误消息所示。

    jsonStrings = {"Name": "SRIDHAR", "Author": "jangcy", "BlogEntries": 100, "Caller": "jangcy"}
    dfs = spark.createDataFrame([jsonStrings]).toPandas()
    print(dfs)

  # Author  BlogEntries  Caller     Name
  # 0  jangcy          100  jangcy  SRIDHAR