《kafka》专题

这更多的是一个系统设计问题。 让我们假设我有一个微服务体系结构，我有X个实例（用于负载平衡对服务的HTTP请求）。但是，也是Kafka主题的消费者。如何避免将同一消息处理X次（X是的实例数）<如果处理是幂等的，至少一次就可以了。它不需要是，但不能是。 服务A可以是订单服务。它生成关于用户向订单主题下单的消息。 服务B可以是支付服务。它使用订单主题中的消息向用户收费。 支付订单可能是幂等操作。但是，

我正在用ApacheKafka版本（2.1.0）开发一个流式API。我有一个Kafka群集和一个外部服务器。外部服务器将生成要在Kafka群集上使用的数据。 让我们将外部服务器表示为E，将集群表示为C。E没有安装Kafka。我在上面运行一个JAR文件来生成消息。以下是Producer属性的代码段： 我将bootstrapIp设置为Kafka代理IP。 在集群端，我使用以下命令启动使用者控制台： 我

我目前正在做一个kafka java项目。我是新来的，我发现很难理解与Kafka生产者/消费者设计相关的几个基本概念。 > 比方说，我有一个带有单个分区的主题，我有一个生产者正在写这个主题，一个消费者正在从这个主题中消费。如果我部署同一个应用程序的多个实例，每个实例将运行自己的消费者。在这种情况下，因为所有消费者都属于同一个group pId，所以消息是否会在多个实例上运行的消费者之间平均分配？

我有一个Kafka生产者代码在Java，使用java nio WatchService api观看新文件的目录，并采取任何新文件，并推到Kafka主题。火花流消费者阅读Kafka主题。我得到以下错误后，Kafka制作人的工作继续运行一天。制作人每2分钟推送大约500个文件。我的Kafka主题有1个分区和2个复制因子。有人能帮忙吗？

因为我是新的Kafka，所以我能够从文件中读取记录，并通过生产者将消息发送到Kafka主题，但不能通过消费者消费相同的主题。 注意：您可以从任何文本文件中读取数据，我使用的是Kafka2.11-0.9。0.0版本 这是我的密码： 下面是输出：

我是Kafka的新手，运行一个简单的Kafka消费者/生产者的例子，就像在Kafka消费者和KafkaProducer上给出的那样。当我从终端运行消费者时，消费者正在接收消息，但我不能使用Java代码监听。我也在StackoverFlow上搜索了类似的问题（链接： Link1，Link2），并尝试了解决方案，但似乎没有什么对我有用。kafka版本：和相应的maven依赖在pom中使用。 Java生

Kafka过去在我自己的电脑上工作得很好。我正在另一台电脑上工作，上面写着 为目录C:\tmp\kafka logs（kafka.server.LogDirFailureChannel）java中的\uu consumer\u offset-41创建日志时出错。木卫一。IOException:映射在sun失败。尼奥。总经理。Kafka地图（FileChannelImpl.java:940）。日志抽

在这里的帮助下，我在windows机器上安装了Kafka服务器和zookeeper。我成功地在下面的日志中设置了一个主题MTETest，生成并使用与此主题相关的消息。 在管理员命令提示符下尝试使用安装附带的批处理文件停止和启动Kafka和Zookeeper时，我遇到了一个问题，Kafka服务器无法启动下面的消息- 在太阳下。尼奥。财政司司长。WindowsException。sun上的transl

我正在为Kafka工作客户：librdkafka。图书馆在这里https://github.com/edenhill/librdkafka/blob/master/examples/rdkafka_example.cpp.我的程序正在向代理写入2000000条消息。在此过程中，我重新启动了代理。有时，没有消息无法传递到代理。有时，大约100000条消息未能传递到代理。队列缓冲。最大消息数=1000

Kafka0.8作品伟大。我能够使用CLI以及编写我自己的生产者/消费者！ 正在检查动物园管理员。。。我还看到了为0.8成功创建的所有主题和分区。 Kafka0.7不起作用！ 为什么是Kafka0.7？我使用Kafka喷口从Storm这是为Kafka0.7。 首先，我只想为Kafka 0.7运行基于CLI的producer/consumer，我无法做到这一点。我将执行以下步骤： > 宾/Kafka

我正在为Kafka和SparkStreaming编写一些代码，当我将它们放在Yarn-Cluster上时，它报告了。 但它在我的电脑上运行良好（独立模式） 那它有什么问题呢？ //这是代码 这里例外----------------------------------- 19/07/26 18:21:56警告Scheduler.TaskSetManager：在stage 0.0中丢失任务0.0（TI

当我使用“Spark Streaming”读取“Kafka”（需要sasl验证），然后将数据存储到“HBase”时，“HBase”给出以下错误 java.io.IOException：java.lang.Reflect.InvocationTargetException在org.apache.hadoop.hbase.client.ConnectionFactor.CreateConnection

我无法将KafkaProducer使用java从Windows（主机操作系统）上的eclipse发送到运行在Hortonworks沙箱上的kafka主题。我的java代码如下所示 当我运行这个java代码时没有错误，它只是打印消息的索引，在本例中只有0，然后终止，我无法在hortonworks沙箱的cmd接口上的console-consumer中看到0。 这是pom.xml依赖项 我可以从制片人那

“发送是异步的，一旦记录存储在等待发送的记录缓冲区中，此方法将立即返回。这允许并行发送许多记录，而不会阻塞等待每个记录之后的响应。“ 我只是想知道这些记录是如何并行发送的？如果我有3个代理，并且在同一主题下的每个代理上有3个分区，Kafka生产者会将记录并行地发送到9个分区吗？或者制作人只是并行地向3个经纪人发送唱片？生产者如何以平行的方式工作？

运行kafka生产者时出错