在嵌套的XML文件Spark scala中查找特定元素[重复]

Question

我想选择一个特定的元素：select（“File.columns.column.u name”）

 |-- File: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- _Description: string (nullable = true)
 |    |    |-- _RowTag: string (nullable = true)
 |    |    |-- _name: string (nullable = true)
 |    |    |-- _type: string (nullable = true)
 |    |    |-- columns: struct (nullable = true)
 |    |    |    |-- column: array (nullable = true)
 |    |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |    |-- _Hive_Final_Table: string (nullable = true)
 |    |    |    |    |    |-- _Hive_Final_column: string (nullable = true)
 |    |    |    |    |    |-- _Hive_Table1: string (nullable = true)
 |    |    |    |    |    |-- _Hive_column1: string (nullable = true)
 |    |    |    |    |    |-- _Path: string (nullable = true)
 |    |    |    |    |    |-- _Type: string (nullable = true)
 |    |    |    |    |    |-- _VALUE: string (nullable = true)
 |    |    |    |    |    |-- _name: string (nullable = true)

我得到了这个错误：

线程“main”组织中出现异常。阿帕奇。火花sql。AnalysisException：无法解析文件。柱。列[_name]'由于数据类型不匹配：参数2需要整数类型，但“_name”是字符串类型。；在org。阿帕奇。火花sql。催化剂分析套餐$AnalysisErrorAt。组织的故障分析（scala包：42）。阿帕奇。火花sql。催化剂分析检查分析$$anonfun$CheckAnalysis$1$$anonfun$apply$2。applyOrElse（CheckAnalysis.scala:65）位于org。阿帕奇。火花sql。催化剂分析检查分析$$anonfun$CheckAnalysis$1$$anonfun$apply$2。applyOrElse（CheckAnalysis.scala:57），网址：org。阿帕奇。火花sql。催化剂树。TreeNode$$anonfun$transformUp$1。申请（TreeNode.scala:335）在org。阿帕奇。火花sql。催化剂树。TreeNode$$anonfun$transformUp$1。申请（TreeNode.scala:335）在org。阿帕奇。火花sql。催化剂树。CurrentOrigin美元。withOrigin（TreeNode.scala:69）位于org。阿帕奇。火花sql。催化剂树。TreeNode。transformUp（TreeNode.html" target="_blank">scala:334）位于org。阿帕奇。火花sql。催化剂树。TreeNode$$anonfun$5。在org上应用（TreeNode.scala:332）。阿帕奇。火花sql。催化剂树。TreeNode$$anonfun$5。在org上应用（TreeNode.scala:332）。阿帕奇。火花sql。催化剂树。TreeNode$$anonfun$4。在scala应用（TreeNode.scala:281）。收集迭代器$$anon$11。接下来（迭代器。scala:328）在scala。收集迭代器$类。scala上的foreach（迭代器。scala:727）。收集抽象迭代器。scala上的foreach（迭代器。scala:1157）。收集通用的可增长的$类$在scala加上$plus$eq（可增长。scala:48）。收集可变。ArrayBuffer$在scala上加上$plus$eq（ArrayBuffer.scala:103）。收集可变。ArrayBuffer$在scala上加上$plus$eq（ArrayBuffer.scala:47）。收集TraversableOnce$类。到（可遍历一次。scala:273）在scala。收集抽象迭代器。到scala的（迭代器。scala:1157）。收集TraversableOnce$类。在scala的toBuffer（TraversableOnce.scala:265）。收集抽象迭代器。toBuffer（迭代器。scala:1157）在scala。收集TraversableOnce$类。scala的toArray（可遍历一次。scala:252）。收集抽象迭代器。toArray（迭代器。scala:1157）位于org。阿帕奇。火花sql。催化剂树。TreeNode。transformChildren（TreeNode.scala:321）在org。阿帕奇。火花sql。催化剂树。TreeNode。transformUp（TreeNode.scala:332）位于org。阿帕奇。火花sql。催化剂计划。QueryPlan。transformExpressionUp$1（QueryPlan.scala:108），网址：org。阿帕奇。火花sql。催化剂计划。QueryPlan。org$apache$spark$sql$catalyst$plans$QueryPlan$$recursiveTransform$2（QueryPlan.scala:118）

你能帮帮我吗？

Answer 1

查看您的模式，您可以执行以下操作，从数据帧的嵌套结构中选择名称

import org.apache.spark.sql.functions._
df.select(col("File.columns.column")(0)(0)("_name").as("_name"))

Answer 2

您需要爆炸函数来获得所需的列

分解（e列）为给定数组或映射列中的每个元素创建新行。

val df1 = df.select(explode($"File").as("File")).select($"File.columns").as("column")

首先，爆炸给你列字段

val finalDF = df1.select(explode($"(column"))."column")).select($"column._name").as("_name")

第二次分解为您提供名称列

希望这有帮助！