Spark ERROR执行器：阶段0.0（tid 0）中任务0.0中的异常java.lang.ArithmeticException

Question

我得到了下面的错误当我运行一个应用程序JavaWeb使用

我的问题是为什么它只在部署应用程序后才发生？在开发环境中它没有发生。

2021 03月24日08:50:41.150信息19613---[uler事件循环]组织。阿帕奇。火花调度程序。DAGScheduler:ShuffleMapStage 0（FalhaService中的collectAsList。java:60）在7.513秒内失败，原因是由于阶段失败导致作业中止：阶段0.0中的任务0失败1次，最近的失败：阶段0.0中的任务0.0丢失（TID 0）（GDBHML08执行器驱动程序）：java。ArtihmeticException：java上的整数溢出。lang.Math。toIntExact（Math.java:1011）位于org。阿帕奇。火花sql。催化剂util。DateTimeUtils美元。org上的fromJavaDate（DateTimeUtils.scala:90）。阿帕奇。火花sql。催化剂CatalystTypeConverters$日期转换器$。toCatalystImpl（CatalystTypeConverters.scala:306）位于org。阿帕奇。火花sql。催化剂CatalystTypeConverters$日期转换器$。toCatalystImpl（CatalystTypeConverters.scala:305）位于org。阿帕奇。火花sql。催化剂CatalystTypeConverters$CatalystTypeConverter。toCatalyst（CatalystTypeConverters.scala:107）位于org。阿帕奇。火花sql。催化剂CatalystTypeConverters$StructConverter。toCatalystImpl（CatalystTypeConverters.scala:252）位于org。阿帕奇。火花sql。催化剂CatalystTypeConverters$StructConverter。toCatalystImpl（CatalystTypeConverters.scala:242）位于org。阿帕奇。火花sql。催化剂CatalystTypeConverters$CatalystTypeConverter。toCatalyst（CatalystTypeConverters.scala:107）位于org。阿帕奇。火花sql。催化剂CatalystTypeConverters美元$com上的anonfun$createToCatalystConverter$2（CatalystTypeConverters.scala:426）。数据税。火花连接器。数据源。UnsafeRowReader。在com上阅读（UnsafeRowReaderFactory.scala:34）。数据税。火花连接器。数据源。UnsafeRowReader。在com上阅读（UnsafeRowReaderFactory.scala:21）。数据税。火花连接器。数据源。CassandraPartitionReaderBase$scala上的anonfun$getIterator$2（CassandraScanPartitionReaderFactory.scala:110）。收集迭代器$$不超过10美元。下一步（迭代器。scala:461）在scala。收集迭代器$$不超过11美元。下一步（Iterator.scala:496）访问com。数据税。火花连接器。数据源。CassandraPartitionReaderBase。下一步（CassandraScanPartitionReaderFactory.scala:66）位于org。阿帕奇。火花sql。处决数据源。v2.分区计算器。hasNext（datasourcedd.scala:79）位于org。阿帕奇。火花sql。处决数据源。v2.MetricsIterator。hasNext（datasourcedd.scala:112）位于org。阿帕奇。火花中断迭代器。scala上的hasNext（InterruptableIterator.scala:37）。收集迭代器$$不超过10美元。hasNext（Iterator.scala:460）位于org。阿帕奇。火花sql。催化剂表达。GeneratedClass$GenerateEditorForCodeGenstage1。agg\u doAggregateWithKeys\u 0$（未知来源）位于组织。阿帕奇。火花sql。催化剂表达。GeneratedClass$GenerateEditorForCodeGenstage1。组织上的processNext（未知源）。阿帕奇。火花sql。处决BufferedRowIterator。hasNext（BufferedRowIterator.java:43）位于org。阿帕奇。火花sql。处决批发价$1美元。位于scala的hasNext（批发价：755）。收集迭代器$$不超过10美元。hasNext（Iterator.scala:460）位于org。阿帕奇。火花洗牌分类绕过MergeSortShuffleWriter。在org上编写（BypassMergeSortShuffleWriter.java:132）。阿帕奇。火花洗牌ShuffleWriteProcessor。在org上写入（ShuffleWriteProcessor.scala:59）。阿帕奇。火花调度程序。ShuffleMapTask。运行任务（ShuffleMapTask.scala:99），位于组织。阿帕奇。火花调度程序。ShuffleMapTask。org上的runTask（ShuffleMapTask.scala:52）。阿帕奇。火花调度程序。任务在组织上运行（Task.scala:131）。阿帕奇。火花执行人。执行者$TaskRunner$anonfun$run$3（Executor.scala:497）位于org。阿帕奇。火花util。Utils美元。tryWithSafeFinally（Utils.scala:1439）位于org。阿帕奇。火花执行人。执行者$TaskRunner。在java上运行（Executor.scala:500）。util。同时发生的线程池执行器。java上的runWorker（ThreadPoolExecutor.java:1149）。util。同时发生的ThreadPoolExecutor$工作者。在java上运行（ThreadPoolExecutor.java:624）。lang.Thread。运行（Thread.java:748）

驱动程序堆栈跟踪：2021 03月24日08:50:41.189信息19613---[nio-8080-exec-2]组织。阿帕奇。火花调度程序。DAGScheduler：作业0失败：FalhaService上的collectAsList。java:60，耗时8.160348秒

此错误中的行代码：

List<Row> rows = dataset.collectAsList();

代码块：

Dataset<Row> dataset = session.sql(sql.toString());

List<Row> rows = dataset.collectAsList();
ListIterator<Row> t = rows.listIterator();
while (t.hasNext()) {
    Row row = t.next();
    grafico = new EstGraficoRelEstTela();
    grafico.setSuperficie(row.getLong(0));
    grafico.setSubsea(row.getLong(1) + row.getLong(2));
    grafico.setNomeTipoSensor(row.getString(3));
    graficoLocalFalhas.add(grafico);
}
session.close();

谢谢

Answer 1

看起来数据库中的数据不正确，某些日期字段的日期已经很遥远了。如果查看源代码，可以看到它首先转换为毫秒，然后转换为天，并且此转换溢出了整数。这可以解释为什么代码在开发环境中工作。。。

您可以要求管理员检查文件中是否有损坏的数据，例如，使用nodetool scrub命令。

附言：您确定您使用的是Spark 3.0.1吗？错误中函数的位置与Spark 3.1.1匹配...