spark：spark流媒体中的接收器是一个瓶颈吗？

Question

我想了解接收器在火花流中是如何工作的。根据我的理解，将有一个接收器任务运行在执行器中，收集数据并保存为RDD的。当调用start（）时，接收器开始读取。需要澄清以下内容。

null

想知道火花流和接收器的解剖。

Answer 1

我将根据我对Kafka接收器的经验来回答，这似乎或多或少类似于Kinesis中的情况。

火花流作业开始多少接收器？。多个或一个。

您打开的每个接收器都是一个连接。在Kafka中，如果要从多个分区并发读取，需要打开多个接收器，并通常将它们合并在一起。

接收器是按推式实现还是按拉式实现？

拉。在Spark Streaming中，每个批处理间隔（在创建StreamingContext时指定）从Kafka中提取数据。

广泛的问题。看情况.如果您的批处理间隔很长，并且只有一个接收方，您的积压可能会开始填满。这主要是跟踪和错误，直到你在流媒体工作中达到最佳平衡。

为了达到并行度，应该跨辅助节点对数据进行分区。因此，对于流数据，数据是如何在节点之间分布的。

正如我前面所说的，您可以通过向基础数据源打开多个接收器来创建并发性。此外，在读取数据后，可以使用标准的Spark机制对数据进行重新分区。

如果基于批处理时间间隔在一个新节点上形成了新的RDD，那么在提交作业后，SparkContext如何将转换函数序列化到该节点。

与序列化阶段中的每个任务的方式相同，它使用所选的序列化器并通过网络发送数据。我不太明白你的意思。

发射接收器的数量可以由参数控制吗？

是的，您可以有一个配置参数来确定您打开的接收器的数量。这样的代码可以如下所示：

// This may be your config parameter
val numStreams = 5
val kafkaStreams = (1 to numStreams).map { i => KafkaUtils.createStream(...) }

val unifiedStream = streamingContext.union(kafkaStreams)
unifiedStream.print()