当前位置: 首页 > 知识库问答 >
问题:

如何修复“协议消息被拒绝,因为它太大”,来自Mesos上Spark中的Google原型buf?

卢俭
2023-03-14

我正在通过Scala代码运行Spark 1.5.1并调用ALS训练方法(mllib)。我的代码使用MESOS执行器。由于数据很大,我得到以下错误:

2003年11月15日12:53:45信息TaskSetManager:在阶段0.0中启动任务7.0(TID 7,PROCESS\u LOCAL,128730328字节)[libprotobuf ERROR google/protobuf/io/coded\u stream.cc:171]协议消息被拒绝,因为它太大(超过67108864字节)。要增加限制(或禁用这些警告),请参阅google/protobuf/io/coded\u流中的CodedInputStream::SetTotalBytesLimit()。H

关于如何提高限额有什么想法吗?

共有1个答案

寇丰
2023-03-14

听起来你正在达到“spark.kryoserializer.buffer.max”的限制。检查协议是否使用kryo序列化器。如果是,你需要按下“spark.kryoserializer.buffer.max”的限制,它可以设置为2047m。

http://spark.apache.org/docs/1.5.1/configuration.html

 类似资料:
  • 我正试图将位图保存到文件中,但android studio抛出了一个异常java。io。FileNotFoundException:/storage/simulated/0/Pictures/savedBitmap。png(权限被拒绝)我做错了什么?

  • 我使用的是ActiveMQ Artemis 2.10,在我的用例中,我希望避免队列中有重复的消息,所以在向队列发送消息之前,我设置了属性message.hdr_duplicate_detection_id: 但问题是,即使在此消息被消耗之后,如果我试图发送另一个具有相同hashVal值的消息,新消息也会被拒绝。即使队列中没有其他具有相同hashVal值的消息。 是否有一种方法可以将重复检测设置为仅

  • 消息协议 节点之间通过消息来进行交互,所有消息都由下面的数据结构来实现。 message Message { enum Type { UNDEFINED = 0; DISC_HELLO = 1; DISC_DISCONNECT = 2; DISC_GET_PEERS = 3; DISC_PEERS = 4;

  • 我在使用Microsoft登录的项目中使用单曲,现在我试图在这个网站上使用yammer嵌入,但它给出了以下错误。 拒绝显示https://login.microsoftonline.com/common/oauth2/authorize?client_id=xxxx 有人能帮我吗。

  • 问题内容: 我在装有Ubuntu OS的计算机上安装了Docker。在安装docker之后,当我运行时 没关系,但是我想隐藏单词以使命令更短。 如果我写的命令没有这个词 显示以下内容: 当我尝试制作时也是如此 我该如何解决? 问题答案: 如果要以非root用户身份运行docker,则需要将其添加到docker组。 创建docker组(如果不存在) $ sudo groupadd docker 将您

  • 一切正常,但我想隐藏单词以使命令更简短。 如果我在编写命令时没有单词 显示以下内容: Docker:尝试连接到unix上得Docker后台程序套接字时获得得权限被拒绝:///var/run/Docker.sock:Post http://%2fvar%2frun%2fdocker.sock/v1.35/containers/create:拨号unix/var/run/Docker.sock:con