火花误差-十进制精度39超过最大精度38

Question

当我试图从Spark dataframe收集数据时，我得到一个错误，说明

# Load required table into memory from Oracle database
df <- loadDF(sqlContext, source = "jdbc", url = "jdbc:oracle:thin:usr/[e-mail]:1521" , dbtable = "TBL_NM")

RawData <- df %>% 
    filter(DT_Column > DATE(‘2015-01-01’))

RawData <- as.data.frame(RawData)

下面是StackTrace：

警告tasksetmanager：在stage 0.0中丢失任务1.0（TID 1,10..***,executor 0）：java.lang.IllegalArgumentException：requirement：Decimal precision 39在scala.predef超过最大精度38.require（predef.scala:224)在org.apache.spark.sql.types.Decimal.set（Decimal.scala:113)在org.apache.spark.sql.types.Decimal$.apply（Decimal.scala:426)在jdbcutils$$makegetter$3$$anonfun$9.在org.apache.spark.sql.execution.datasources.jdbc.jdbcutils.scala:337)应用(jdbcutils.scala:337)在org.apache.spark.sql.execution.datasources$org$apache$spark$sql$schark$sql$org$apache$spark$sql$squin$3$$datasources$jdbcun$9.应用tils.scala:438)在org.apache.spark.sql.execution.datasources.jdbc.jdbcutils$$anonfun$org$apache$spark$sql$execution$datasources$jdbcutils$$makegetter$3.在org.apache.spark.sql.execution.datasources.jdbc.jdbcutils.$$anonfun$org$apache$spark$sql$execution$datasources$$makegetter$3.在org.apache.spark.sql.execution.datasources.jdbc.jdbcutils.scala:337)应用(jdbcutils.scala:335)在tils.scala:268)在org.apache.spark.util.nextiterator.hasnext(nextiterator.scala:73)在org.apache.spark.util.completioniterator.hasnext(completioniterator.scala:32)在org.apache.spark.sql.catalyst.expressions.generatedclass$generatediterator.processnext（未知来源）在genexec.scala:377)在org.apache.spark.sql.execution.sparkplan$$anonfun$2.在org.apache.spark.sql.execution.sparkplan$$anonfun$2.应用（sparkplan.scala:231)在org.apache.spark.sql.execution.sparkplan$$anonfun$2.在org.apache.spark.rdd.rdd$$anonfun$mappartitionsinternal$1$$anonfun$applice$25.在dd.rdd.iterator(rdd.scala:287)在org.apache.spark.scheduler.resulttask.runtask(resulttask.scala:87)在org.apache.spark.scheduler.task.run(task.scala:99)在org.apache.spark.scheduler.task.run(task.scala:282)在java.util.concurrent.threadpoolexecutor.runwork(threadpoolexecutor.java:1142)在745）

请提出任何解决办法。谢谢你。

Answer 1

用AWS胶水和Postgres碰到了这个。Spark 2.1.0中有一个bug，它为大多数人修复了它，但有人在评论中发布了一个关于使用customSchema选项的解决方案。

我在AWS Glue和Spark SQL中遇到了类似的问题：我在计算货币金额，所以结果是浮动。Glue抛出错误十进制精度1超过最大精度-1，尽管Glue数据目录将列定义为十进制。通过显式地将列强制转换为NUMERIC(10,2）来从上面的customSchema解决方案中获取一个页面，Spark停止了抱怨。