如何使用foreach[duplicate]在Spark数据框中拆分Json格式的列值

Question

我想拆分JSON格式列结果在火花数据帧：

Hive中的allrules_internal表：

----------------------------------------------------------------
|tablename  |                 condition            | filter     |
|---------------------------------------------------------------|
| documents | {"col_list":"document_id,comments"}  | NA         |
| person    | {"per_list":"person_id, name, age"}  | NA         |
 ---------------------------------------------------------------

代码：

val allrulesDF = spark.read.table("default" + "." + "allrules_internal")
allrulesDF.show()

val df1 = allrulesDF.select(allrulesDF.col("tablename"), allrulesDF.col("condition"), allrulesDF.col("filter"), allrulesDF.col("dbname")).collect()

这里我想拆分条件列值。从上面的例子中，我想保留“document_id，comments”部分。换句话说，条件列有一个键/值对，但我只想要值部分。

如果allrules\u internal表中有多行，如何拆分值。

  df1.foreach(row => { 
     //   condition = row.getAs("condition").toString() // here how to retrive ?
       println(condition)
       val tableConditionDF = spark.sql("SELECT "+ condition + " FROM " + db_name + "." + table_name)
       tableConditionDF.show()
 })

Answer 1

您可以使用from_json函数：

import org.apache.spark.sql.functions._
import spark.implicits._

allrulesDF
  .withColumn("condition", from_json($"condition", StructType(Seq(StructField("col_list", DataTypes.StringType, true)))))
  .select($"tablename", $"condition.col_list".as("condition"))

它将打印：

+---------+---------------------+
|tablename|condition            |
+---------+---------------------+
|documents|document_id, comments|
+---------+---------------------+

说明：

使用withColumn方法，可以通过使用组合一个或多个列的函数来创建一个新列。在本例中，我们使用from_json函数，该函数接收包含json字符串的列和StructType对象，其中json字符串的模式在列中表示。最后，只需选择所需的列。

希望有帮助！