Google Cloud数据过程配置问题

Question

我在运行的一些Spark LDA主题建模中遇到了各种问题（主要是随机间隔的非关联错误），我认为这主要与执行器的内存分配不足有关。这似乎与有问题的自动集群配置有关。我的最新尝试使用N1标准--8台机器（8个核心，30GB RAM）用于主节点和辅助节点（6个辅助节点，所以总共48个核心）。

spark.master yarn-client
spark.eventLog.enabled true
spark.eventLog.dir hdfs://cluster-3-m/user/spark/eventlog

# Dynamic allocation on YARN
spark.dynamicAllocation.enabled true
spark.dynamicAllocation.minExecutors 1
spark.dynamicAllocation.initialExecutors 100000
spark.dynamicAllocation.maxExecutors 100000
spark.shuffle.service.enabled true
spark.scheduler.minRegisteredResourcesRatio 0.0

spark.yarn.historyServer.address cluster-3-m:18080
spark.history.fs.logDirectory hdfs://cluster-3-m/user/spark/eventlog

spark.executor.cores 4
spark.executor.memory 9310m
spark.yarn.executor.memoryOverhead 930

# Overkill
spark.yarn.am.memory 9310m
spark.yarn.am.memoryOverhead 930

spark.driver.memory 7556m
spark.driver.maxResultSize 3778m
spark.akka.frameSize 512

# Add ALPN for Bigtable
spark.driver.extraJavaOptions -Xbootclasspath/p:/usr/local/share/google/alpn/alpn-boot-8.1.3.v20150130.jar
spark.executor.extraJavaOptions -Xbootclasspath/p:/usr/local/share/google/alpn/alpn-boot-8.1.3.v20150130.jar

spark-shell --conf spark.executor.cores=8 --conf spark.executor.memory=24g

java.lang.IllegalArgumentException: Required executor memory (24576+930 MB) is above the max threshold (22528 MB) of this cluster! Please increase the value of 'yarn.scheduler.maximum-allocation-mb'.

是我在这里做错了什么，还是这是谷歌的自动配置出了问题？

Answer 1

在主计算机类型不同于辅助计算机类型的集群中，默认内存配置存在一些已知的问题，尽管在您的情况下，这似乎不是主要问题。

当您看到以下内容时：

spark.executor.cores 4
spark.executor.memory 9310m

这实际上意味着每个工作节点将运行2个执行器，并且每个执行器将使用4个核，使得所有8个核确实在每个工作节点上用完。这样，如果我们给AppMaster一台机器的一半，则AppMaster可以成功地打包到执行器旁边。

1. 使用n1-highmem-*计算机类型
2. 尝试减少spark.executor.cores，同时保持spark.executor.memory不变
3. 尝试增加spark.executor.memory，同时保持spark.executor.cores不变

如果您执行了上面的（2）或(3)，那么与试图占用所有内核的默认配置相比，您确实会让内核处于空闲状态，但这实际上是除了使用highmem实例之外获得每个任务更多内存的唯一方法。