访问空数组或空数组时发生Spark错误

Question

我有一个具有这种模式的JSON文件：

{
 "name" : "john doe",
 "phone-numbers" : {
   "home": ["1111", "222"],
   "country" : "England" 
  }
}

家庭电话号码数组有时可能为空。

我的spark应用程序收到这些JSON的列表，并执行以下操作：

val dataframe = spark.read.json(filePaths: _*)
val result = dataframe.select($"name", 
                               explode(dataframe.col("phone-numbers.home")))

当“home”数组为空时，我在尝试爆炸它时收到以下错误：

组织。阿帕奇。火花sql。AnalysisException：由于数据类型不匹配，无法解析“电话号码”[“home]”：参数2需要整数类型，但“home”是字符串类型。；；

如果这个场是空的或是空的，有没有一种优雅的方法来防止火花爆炸？

Answer 1

匿名用户

在火花中有一个名为DataFrameNaFunctions的类，该类专门用于处理DataFrames中丢失的数据。

此类包含三个基本方法：删除、替换和填充

要使用这种方法，您唯一要做的就是调用df。na方法，该方法为您的df返回一个数据帧函数，然后应用三种方法中的一种，该方法使用指定的操作返回您的df。

要解决您的问题，您可以使用以下方法：

val dataframe = spark.read.json(filePaths: _*)
val result = dataframe.na.drop().select("name", 
                           explode(dataframe.col("phone-numbers.home")))

希望这能帮上忙，问候

Answer 2

问题不在于空数组（“home”：[]而是空数组（“home”：null），它们不能与分解一起工作

因此，要么先过滤空值：

val result = df
   .filter($"phone-numbers.home".isNotNull)
   .select($"name", explode($"phone-numbers.home"))

或者用空数组替换空值（在您的情况下，我更喜欢这样）：

val nullToEmptyArr = udf(
   (arr:Array[Long]) => if(arr==null) Array.empty[Long] else arr
)

val result = df
  .withColumn("phone-numbers.home",nullToEmptyArr($"phone-numbers.home")) // clean existing column
  .select($"name", explode($"phone-numbers.home"))