Apache Kafka和Spark流媒体

Question

我正在读这篇博文：

http://blog.jaceklaskowski.pl/2015/07/20/real-time-data-processing-using-apache-kafka-and-spark-streaming.html

它讨论了如何使用Spark Streaming和Apache Kafka进行一些近实时处理。我完全理解这篇文章。它确实展示了我如何使用Spark Streaming来阅读某个主题的消息。我想知道是否有一个Spark流媒体API，我可以用来将消息写入Kakfa主题？

我的用例非常简单。我有一组数据，可以以固定的间隔（比如每秒）从给定的源读取。我使用反应流来实现这一点。我想用Spark对这些数据进行一些分析。我想有容错能力，所以Kafka开始发挥作用。因此，我基本上会做以下几点（如果我错了，请纠正我）：

1. 使用反应式流以恒定的间隔从外部源获取数据
2. 将结果导入Kafka主题
3. 使用Spark Streaming，为消费者创建流上下文
4. 对消耗的数据执行分析

不过，另一个问题是，Spark中的Streaming API是反应式流规范的实现吗？它是否具有背压处理（Spark Streaming v1.5）？

Answer 1

如果您必须将结果流写入另一个Kafka主题，比如“topic_x”，首先，您必须在您试图写入主题_x的结果流中包含名为“Key”和“Value”的列。

result_stream = result_stream.selectExpr('CAST (key AS STRING)','CAST (value AS STRING)')
kafkaOutput = result_stream \
               .writeStream \
               .format('kafka') \
               .option('kafka.bootstrap.servers','192.X.X.X:9092') \
               .option('topic','topic_x') \
               .option('checkpointLocation','./resultCheckpoint') \
               .start()

kafkaOutput.awaitTermination()

有关更多详细信息，请查看https://spark.apache.org/docs/2.4.1/structured-streaming-kafka-integration.html

Answer 2

>

你可以在Spark流媒体应用程序中给Kafka写信，下面是一个例子。

（充分披露：我是一些背压工作的实施者之一）