如何优化火花结构化流媒体应用程序中的执行程序实例数量？

Question

纱线簇模式

• Spark结构化流
• 从Kafka主题读取数据

• 1个主题，4个分区-目前为止。（分区数可以更改）
• 每1秒最多增加2000条主题记录

我发现 Kafka 主题分区的数量与 spark 执行器的数量 （1：1） 相匹配。
所以，就我而言，到目前为止，我所知道的是，我认为4个火花执行器是解决方案。
但是我担心数据吞吐量 - 可以确保2000 rec / sec吗？

是否有任何关于在火花结构化流中设置正确配置的指导或建议？
特别是火花执行器核心，火花执行器实例或有关执行器的东西。

Answer 1

将< code > spark . executor . cores 设置为5或更少通常被认为是HDFS I/O吞吐量的最佳值。你可以在这里阅读更多相关内容(或谷歌其他文章):https://blog . cloud era . com/blog/2015/03/how-to-tune-your-Apache-spark-jobs-part-2/

每个Kafka分区都匹配一个火花核心，而不是执行器（一个火花核心可以有多个Kafka分区，但每个Kafka分区恰好有一个核心）。

决定您需要的确切数量取决于许多其他因素，比如您的应用程序流（例如，如果您没有进行任何洗牌，则总核数应该正好是您的Kafka分区）、内存容量和需求等。

您可以使用这些配置，并使用spark指标来决定您的应用程序是否正在处理吞吐量。