如何在Kafka集群上部署Kafka流媒体应用
我写了Kafka流应用程序，我想把它部署在Kafka集群上。因此，我构建了一个jar文件，并使用以下命令运行它：
java -jar KafkaProcessing-1.0-SNAPSHOT-jar-with-dependencies.jar testTopic kafka1:9092,kafka2:9092 zookeeper1:2181,zookeeper2:2181 output
共有1个答案
Kafka streams有不同的架构--它不需要像Spark/Flink那样的集群编排--它们只是可以启动和停止的普通应用程序，如果启动--它们将被放大，如果停止--它们将被缩小。在内部，他们使用Kafka来协调数据处理，类似于其他Kafka消费者。
如果您有Kubernetes、Docker Swarm或其他类似的平台，那么您可以将您的应用程序打包到Docker，并使用该平台运行您的Kafka Streams应用程序。
-
为什么以及何时会选择将Spark流媒体与Kafka结合使用？ 假设我有一个系统通过Kafka每秒接收数千条消息。我需要对这些消息应用一些实时分析，并将结果存储在数据库中。 我有两个选择： > < li> 创建我自己的worker，该worker从Kafka读取消息，运行分析算法并将结果存储在DB中。在Docker时代，只需使用scale命令就可以轻松地在我的整个集群中扩展这个工作线程。我只需要确保
-
问题内容： 我正在使用Maven 我添加了以下依赖项 我还在代码中添加了jar 它完全可以正常工作，没有任何错误，在通过spark-submit提交时出现以下错误，非常感谢您的帮助。谢谢你的时间。 线程“主要” java.lang.NoClassDefFoundError中的异常：sun.reflect处的KafkaSparkStreaming.sparkStreamingTest（KafkaSp
-
我正在读这篇博文： http://blog.jaceklaskowski.pl/2015/07/20/real-time-data-processing-using-apache-kafka-and-spark-streaming.html 它讨论了如何使用Spark Streaming和Apache Kafka进行一些近实时处理。我完全理解这篇文章。它确实展示了我如何使用Spark Stream
-
我在谷歌云上部署了Kafka，我把监听器改为 我可以拿到经纪人的话题。然而，当我试图生成消息给Kafka经纪人时 sudo./bin/kafka-console-producer.sh--broker-list[外部IP地址]:9092--topic test 出现以下错误： 向主题测试发送消息时出现错误，键:null，值：5字节，错误：（org.apache.kafka.clients.prod
-
它没有任何错误，我得到以下错误时，我运行火花提交，任何帮助都非常感谢。谢谢你抽出时间。 线程“main”java.lang.noClassDeffounderror：org/apache/spark/streaming/kafka/kafkautils在kafkasparkstreaming.sparkstreamingtest(kafkasparkstreaming.java:40)在kafka
-
我以前能够运行Kafka结构流编程。但是突然间，我所有的结构流python程序都失败了，出现了一个错误。我从Spark网站上拿了基本的Kafka结构流式编程，也以同样的错误失败。 spark-submit--packages org.apache.spark:spark-sql-kafka-0-102.11:2.2.0c:\users\ranjith.gangam\pycharmprojects\