闲置的火花工人

Question

我已经配置了连接到Cassandra集群的独立spark集群，其中有1个主服务器、1个从服务器和Thrift服务器，该服务器用作Tableau应用程序的JDBC连接器。无论怎样，当我启动任何查询时，从属服务器都会出现在工作者列表中。所有工作负载都由主执行器执行。同样在Thrift web控制台中，我观察到只有一个执行器处于活动状态。

基本上，我希望火花集群的两个执行器上的分布式工作负载能够实现更高的性能。

从主日志：

2019-03-26 15:36:52 INFO Master：54-我已当选领导者！新状态：ALIVE 2019-03-26 15:37:00 INFO Master：54-注册工人工人-ip：37678,16核，61.8 GB RAM

从工作日志：

2019-03-26 15：37：00 信息工作者：54 - 成功注册主 spark://master-hostname:7077

我的火花熄灭了。conf为：

spark.driver.memory=50g
spark.driver.maxResultSize=4g

spark.sql.thriftServer.incrementalCollect=false
spark.sql.shuffle.partition=17
spark.sql.autoBroadcastJoinThreshold=10485760
spark.sql.inMemoryColumnarStorage.compressed=true
spark.sql.inMemoryColumnarStorage.batchSize=10000

spark.cores.max=32
spark.executor.cores=16
spark.memory.offHeap.enabled=true
spark.memory.offHeap.size=1g

pic1工人

pic2 执行器

任何帮助高度赞赏。

Answer 1

当火花没有对工人执行时，有几个主要的嫌疑人需要消除。

1. 您在Web UI中看到工作人员了吗
2. 防火墙是否允许您发送实际工作负载并返回响应？有关详细信息，请参阅此现有答案
3. 奴隶有足够的自由资源来接受这份工作吗？我注意到您需要16个内核，也许这比可用的还要多
4. 是否需要容量？考虑并行提交多个作业（这些作业需要执行者，并且资源需求足够小），以确保不会“巧合”地避开节点。继续，直到你发现它确实不适合你的主节点

如果所有这些都失败了，可能需要更多的上下文。

• 您没有共享任何错误消息，在任何地方真的没有错误吗？
• 你使用什么样的集群（哈多普，梅索斯？