获得空指针异常时，试图添加一列火花数据集在Java

Question

我试图在java中迭代数据集行，然后访问特定的列，找到它作为键存储在JSON文件中的值，并获取它的值。对于所有行，找到的值需要作为新列值存储在该行中。

我看到我从JSON文件中获得的cluster_val不是空的，但当我尝试将其添加为列时，我在线程“main”组织中得到了Exception。阿帕奇。火花SparkException:作业因阶段失败而中止：阶段1.0中的任务0失败1次，最近的失败：阶段1.0中的任务0.0丢失（TID 1，本地主机，执行器驱动程序）：java。lang.NullPointerException

到目前为止，我有：

Dataset<Row> df = spark.read().format("csv").load(path);
        df.foreach((ForeachFunction<Row>) row ->
    {
        String df_col_val = (String) row.get(6);
        System.out.println(row.get(6));
        if(df_col_val.length() > 5){
            df_col_val = df_col_val.substring(0, df_col_val.length() - 5 + 1); //NOT NULL
        }
        System.out.println(df_col_val); 
        String cluster_val = (String) jo.get(df_col_val); //NOT NULL
        System.out.println(cluster_val);
        df.withColumn("cluster", df.col(cluster_val));  // NULL POINTER EXCEPTION. WHY?

        df.show();

    });

因此，我主要需要帮助逐行读取数据集，并执行上述后续操作。无法在网上找到太多参考资料。如果可能的话，请告诉我正确的来源。另外，如果有一种速记方法，请告诉我。

所以我算出了df。col（cluster_val）正在引发异常，因为不存在列。如何将列的字符串名称转换为传入withColumn（）函数所需的列类型

更新：

所以我尝试了下面的新列，我尝试使用udf获取新列的值，但是如果这样使用，它是空的：

Dataset<Row> df = spark.read().format("csv").option("header", "true").load(path);

            Object obj = new JSONParser().parse(new FileReader("path to json"));
            JSONObject jo = (JSONObject) obj;

                df.withColumn("cluster", functions.lit((String) jo.get(df.col(df_col_val)))));
        df.show();

Answer 1

在使用df时。withColumn需要第一个参数作为列名，第二个参数作为该列的值。如果您想添加名为“cluster”且值为某个json值的新列，那么可以使用“lit”函数作为lit（cluster_val），其中cluster_val保存值。

你必须导入“org.apache.spark.sql.functions._”才能使用点燃功能。

我希望它能有所帮助。