java.lang.IllegalArgumentException：帧太大：5211883372140375593
我将代码提交到集群运行，但遇到了以下错误。
'''java.lang.IllegalArgumentException：太大的帧：位于org.sparkproject.guava.base.preconditions.checkArgument（preconditions.java:119)位于org.apache.spark.network.util.TransportFrameDecoder.DecodeNext（TransportFrameDecoder.java:148)
'''
我的submit命令是这样的
spark-submit
--master spark://172.16.244.8:6066
--deploy-mode cluster
--num-executors3
--executor-cores 8
--executor-memory 16g
--driver-memory 2g
--conf spark.default.parallelism=10
--class ParallelComputing
hdfs:/172.16.244.5:9000/qlt/protrait-batch-0.0.1-jar-with-dependencies.jar
原因是什么
共有1个答案
原因是因为spark的版本与集群的版本不匹配，可以通过修改本地spark版本与集群一致来解决。
-
我用两个容器运行docker的环境。我注意到Overly2文件夹太大了。当docker关闭（docker compose down）时，Overly2文件夹的大小为2.3GB。当容器运行时，Overly2文件夹将增加到4.0GB，并且随着时间的推移而增加。这正常吗？ 命令停止容器： 命令，容器运行： 编辑 命令
-
问题内容： 嗨，我很难理解为什么这不起作用 莫尔斯电码只是一串数字。问题是它说Integer number太大：4545454545，但是我确定Long可以更长。 问题答案： 您需要使用或将其限定为。默认情况下，是文字，超出的范围。 建议使用大写字母以避免混淆，因为和看起来很相似 你可以做 ： 要么 根据JLS 3.10.1 ： 如果整数文字 以ASCII字母L或l（ell） 为后缀，则其类型为l
-
除了oncreate之外，我的MainActivity是空的。我已经阅读了关于这个问题的其他帖子，但没有一个为我提供任何真正的解决方案。
-
问题内容： 我打开kibana并进行搜索，但出现碎片失败的错误。我查看了elasticsearch.log文件，然后看到此错误： 有什么办法可以增加593.9mb的限制？ 问题答案： 您可以尝试在配置文件中将fielddata断路器的限制提高到75％（默认值为60％），然后重新启动集群： 或者，如果您不想重启群集，则可以使用以下方法动态更改设置： 试试看。
-
2. 以太网(RFC 894)帧格式 以太网的帧格式如下所示（该图出自[TCPIP]）： 图 36.6. 以太网帧格式 其中的源地址和目的地址是指网卡的硬件地址（也叫MAC地址），长度是48位，是在网卡出厂时固化的。用ifconfig命令看一下，“HWaddr 00:15:F2:14:9E:3F”部分就是硬件地址。协议字段有三种值，分别对应IP、ARP、RARP。帧末尾是CRC校验码。 以太网帧中
-
我正试图将一个保存到一个嵌套中。但是当我尝试这么做时，服务器崩溃了，这就是我在控制台上看到的问题。日志： 有一件事是JSON请求的大小是1095922字节，在Nest中有人知道怎么做吗。js是否增加有效请求的大小？谢谢