Apache Spark配置
我在运行spark配置时面临内存问题，我已经将设置更改为最大内存，但它仍然不能工作。请查看以下问题：命令-
spark2-shell --conf "spark.default.parallelism=40" --executor.memory 8g --driver-memory 32g --conf "spark.ui.port=4404" --conf spark.driver.maxResultSize=2048m --conf spark.executor.heartbeatInterval=200s
错误-错误集群。YarnScheduler：Ampanacdddbp01.au.amp.local上丢失的遗嘱执行人9：123643 ms后Executor heartbeat超时警告调度器。TaskSetManager：在阶段0.0中丢失任务19.0（TID 19，ampanacdddbp01.au.amp.local，Executor 9):ExecutorLostFailure（Executor 9 e运行任务）原因：Executor heartbeat在123643 ms后超时警告spark。HeartbeatReceiver：删除没有最近heartbeats的Executor 3超过超时120000 ms错误集群。YarnScheduler：在ampanacdddbp01.au.amp.local上丢失Executor 3在MaxResultSize(1024.0MB)错误调度程序。TaskSetManager：24个任务的序列化结果的总大小(1085.8MB)大于spark.driver.maxResultSize(1024.0MB)
请帮助我配置和如何修复这个“丢失的执行器错误”。
共有1个答案
参数“spark.driver.maxresultsize”的默认值为1G，即1024MB。由于应用程序试图使用更多分配给该属性的内存，因此出现了此错误。
尝试按以下方式更改该值：
>
在以“--conf spark.driver.maxresultsize=4G”的形式启动spark-shell时，可以传递命令行参数
尼拉伊
-
给定一个包含以下格式数据的大文件（V1，V2，…，VN） 我正在尝试使用Spark获得一个类似于下面的配对列表 我尝试了针对一个较旧的问题所提到的建议，但我遇到了一些问题。例如， 我得到了错误， 有人能告诉我哪些地方我可能做得不对，或者有什么更好的方法可以达到同样的效果？非常感谢。
-
我有一个基于maven的scala/java混合应用程序，可以提交spar作业。我的应用程序jar“myapp.jar”在lib文件夹中有一些嵌套的jar。其中之一是“common.jar”。我在清单文件中定义了类路径属性，比如。Spark executor抛出在客户端模式下提交应用程序时出错。类（com/myapp/common/myclass.Class）和jar（common.jar）在那里
-
我有一个项目的RDD，还有一个函数 。 收集RDD的两个小样本，然后这两个数组。这很好，但无法扩展。 有什么想法吗？ 谢谢 编辑：下面是如何压缩每个分区中具有不同项数的两个示例： 关键是，虽然RDD的. zip方法不接受大小不等的分区，但迭代器的. zip方法接受（并丢弃较长迭代器的剩余部分）。
-
我正在ApacheSpark上的数据库中构建一个族谱，使用递归搜索来查找数据库中每个人的最终父级（即族谱顶部的人）。 假设搜索id时返回的第一个人是正确的家长 它给出以下错误 “原因：org.apache.spark.SparkException:RDD转换和操作只能由驱动程序调用，不能在其他转换中调用；例如，
-
我正在构建一个Spark应用程序，我必须在其中缓存大约15GB的CSV文件。我在这里读到了Spark 1.6中引入的新： https://0x0fff.com/spark-memory-management/ 作者在和之间有所不同（火花内存又分为）。正如我所了解的，Spark内存对于执行（洗牌、排序等）和存储（缓存）东西是灵活的——如果一个需要更多内存，它可以从另一个部分使用它（如果尚未完全使用）
-
我试图在火花笔记本的阿帕奇火花中做NLP。对于这个特定的例子，我正在使用库https://opennlp.apache.org创建一个块来提取名词短语。由于数据量的增加，我需要转向分布式计算。 问题是我无法广播我的chunker对象。通过阅读文档（只在board上投射数组等简单对象），我尝试了以下方法： 但这会引发以下错误： 如果我将chunker的初始化封装在函数中，然后在map方法中调用函数，
-
我正在用Kafka设计一个spark流媒体应用程序。我有以下几个问题：我正在将数据从RDBMS表流式传输到kafka，并使用Spark consumer来使用消息，并使用Spark-SQL进行处理 问题：1。我将数据从表中流式传输到kafka as（键作为表名，值作为JSON记录形式的表数据）——这是正确的体系结构吗？ 这种数据库流的架构和设计是否正常，我如何解决转换问题中的转换？ 你好Piyus
-
我正在尝试创建一个spark应用程序，它对创建、读取、写入和更新MySQL数据非常有用。那么，有没有办法使用Spark创建一个MySQL表？ 下面是在MySQL数据库中创建表的Scala JDBC代码。我怎样才能通过Spark做到这一点？