Spark Streaming和Kafka：一个集群还是几个独立的盒子？

Question

我要做一个关于使用火花流Kafka集成的决定。

1. 一个Kafka主题和一个星火集群。
2. 几个Kafka主题和几个独立的Spark盒（每个主题有一台带有独立Spark集群的机器）
3. 几个Kafka主题和一个星火集群。

我很想选择第二种方案，但我找不到人谈论这样的解决方案。

Answer 1

在这种情况下要考虑的一个重要因素是主题的划分。

您的Kafka-Spark集成的并行度级别将由主题的分区数决定。直接Kafka模型通过为相应的Spark作业建立主题的分区数和RDD分区数之间的1：1映射，简化了消耗模型。

因此，推荐的设置是：一个包含n个分区的Kafka主题（其中n个分区针对您的使用进行了调优）和一个Spark集群，该集群具有足够的资源来并行处理来自这些分区的数据。

选项2感觉像是尝试重新实现Spark提供给您的开箱即用：Spark提供给您弹性分布式计算。选项2试图在多台机器上并行化有效负载，并通过拥有独立的执行程序来处理故障。您可以通过单个星火集群实现这一目标，并通过改进资源使用和单一部署来实现这一目标。