Kafka分区是如何在火花流与Kafka共享的？
我想知道Kafka分区是如何在从executor进程内部运行的SimpleConsumer之间共享的。我知道高水平的Kafka消费者是如何在消费者群体中的不同消费者之间分享利益的。但是，当Spark使用简单消费者时，这是如何发生的呢？跨计算机的流作业将有多个执行程序。
共有1个答案
所有的星火执行者也应该是同一个消费群体的一部分。Spark为Kafka用户使用了大致相同的Java API，只是调度将其分发到多台机器中
-
我有一些关于Kafka主题分区->spark流媒体资源利用的用例，我想更清楚地说明这些用例。 我使用spark独立模式，所以我只有“执行者总数”和“执行者内存”的设置。据我所知并根据文档，将并行性引入Spark streaming的方法是使用分区的Kafka主题->RDD将具有与Kafka相同数量的分区，当我使用spark-kafka直接流集成时。 因此，如果我在主题中有一个分区和一个执行器核心，
-
场景： Kafka- 每个火花流微批次中的逻辑(30秒):< br >读取Json- 我的流媒体工作是阅读大约1000个Kafka主题，大约有10K个Kafkapartitions，吞吐量大约为500万事件/秒。 问题来自 Kafka 分区之间的流量负载不均匀，一些分区的吞吐量大约是较小分区的 50 倍，这会导致 RDD 分区倾斜（因为 KafkaUtils 创建了从 Kafka 分区到 Spar
-
为什么以及何时会选择将Spark流媒体与Kafka结合使用？ 假设我有一个系统通过Kafka每秒接收数千条消息。我需要对这些消息应用一些实时分析，并将结果存储在数据库中。 我有两个选择： > < li> 创建我自己的worker，该worker从Kafka读取消息，运行分析算法并将结果存储在DB中。在Docker时代，只需使用scale命令就可以轻松地在我的整个集群中扩展这个工作线程。我只需要确保
-
它没有任何错误，我得到以下错误时，我运行火花提交，任何帮助都非常感谢。谢谢你抽出时间。 线程“main”java.lang.noClassDeffounderror：org/apache/spark/streaming/kafka/kafkautils在kafkasparkstreaming.sparkstreamingtest(kafkasparkstreaming.java:40)在kafka
-
我已经在Ubuntu上设置了Kafka和Spark。我正在尝试阅读Kafka的主题通过火花流使用pyspark（Jupyter笔记本）。Spark既没有读取数据，也没有抛出任何错误。 null Kafka生产者：bin/kafka-console-producer.sh--broker-list localhost:9092--topic new_topic Kafka使用者：bin/kafka-
-
我们正在构建一个使用Spark Streaming和Kafka的容错系统，并且正在测试Spark Streaming的检查点，以便在Spark作业因任何原因崩溃时可以重新启动它。下面是我们的spark过程的样子： Spark Streaming每5秒运行一次（幻灯片间隔），从Kafka读取数据 Kafka每秒大约接收80条消息 我们想要实现的是一个设置，在这个设置中，我们可以关闭spark流作业（