如何将Avro中的bytes列（用logicaltype作为decimal）转换为decimal？

Question

使用databricks spark-avro在spark中创建数据帧后，当我试图使用sum函数求和TOT_AMT列时，它会抛出“function sum requires numeric types not binarytype”错误。

该列在avro模式中定义如下，

name=“tot_amt”,“type”：[“null”,{“type”：“bytes”,“logicaltype”：“decimal”,“precision”：20,“scale”：10}]

我正在创建dataframe并总结，

val df=sqlContext.read.format("com.databricks.spark.avro").load("input dir")
df.agg(sum("TOT_AMT")).show()

在创建DataFrame时，decimal值似乎被读取为Binarytype。在这种情况下，我们如何对这样的十进制列执行数值运算呢？是否可以将此字节数组转换为BigDecimal，然后执行计算。

Answer 1

根据Avro->Spark SQL转换支持的类型，bytesAvro类型被转换为Spark SQL的binarytype（另请参见代码）。

根据源代码，您可以使用avroschema选项定义自己的自定义模式，即。

spark.read
  .format("com.databricks.spark.avro")
  .option("avroSchema", yourSchemaHere)

它提供了指定从BinaryType到Decimal的映射的方法。