《kafka》专题

我正在使用Kafka Producer和RoundRobin分区器来处理一个有12个分区的主题。 代码可在此处找到https://github.com/apache/kafka/blob/2.8/clients/src/main/java/org/apache/kafka/clients/producer/RoundRobinPartitioner.java 我面临的问题是，这个分区程序让分区正确

我是流媒体代理（如Kafka）的新手，来自排队消息系统（如JMS、Rabbit MQ）。 我从Kafka文档中读到，消息作为记录存储在Kafka分区的偏移量中。消费者从偏移量读取。 消息和记录有什么区别[多个/部分消息是否构成记录？] 当消费者从偏移量读取时，消费者是否有可能读取部分消息？消费者是否需要基于某种逻辑将这些对等消息串起来？ 或 1条消息=1条记录=1个偏移量 之所以会出现这个问题，是

阅读这篇关于主题分区中消息排序的文章：https://blog.softwaremill.com/does-kafka-really-guarantee-the-order-of-messages-3ca849fd19d2 允许在不设置最大值的情况下重试。航班请求。每连接到1可能会更改记录的顺序，因为如果将两个批发送到单个分区，第一个失败并重试，但第二个成功，则第二个批中的记录可能会首先出现。 根

我创建了一个包含3个分区的主题 我使用Java制作人同步写入主题 我有一个Java的用户订阅并阅读它 我的键总是一组固定的3个不同的字符串（k1、k2、k3）。但是我的消息总是去分区1或分区2——k1和k2去分区1，k3去分区2。 为什么分区0未使用？

我有一个使用Kafka 1.0作为队列的应用程序。Kafka主题有80个分区和80个正在运行的使用者。（Kafkapython消费者）。 通过运行命令： 我看到其中一个分区被卡在一个偏移位置，并且随着新记录的添加，延迟会不断增加。 上面命令的输出如下所示： 这是什么原因？此外，不需要使用重置偏移量命令重置偏移量，因为可能不会定期手动监视此服务器。 客户端作为Linux m/c中的并行进程在后台运行

我有一个spring cloud stream Kafka消费者服务，其中确认是手动完成的。提供了一个固定的用户组。 spring.cloud.stream.bindings.input.group RESETOFFSET和startOffset属性的设置如下所示。云流动Kafka。绑定。输入消费者resetOffsets=真实Spring。云流动Kafka。绑定。输入消费者STARTOFSET=

问题内容： 曾经经历过多个帖子，但是其中大多数都是相关的处理错误消息，与处理它们时的异常处理无关。 我想知道如何处理流应用程序收到的消息，并且在处理消息时出现异常？该异常可能是由于多种原因造成的，例如网络故障，RuntimeException等， 有人可以建议正确的做法吗？我应该使用 吗？或者，还有更好的方法？ 如何处理重试？ 问题答案： 这取决于您要如何处理生产者方面的异常。如果将对生产者抛出异

问题内容： 如何从代码中获取任何kafka主题的分区数。我研究了许多链接，但似乎没有一个起作用。 提及一些： http://grokbase.com/t/kafka/users/148132gdzk/find-topic-partition-count- through-simpleclient-api http://grokbase.com/t/kafka/users/151cv3htga/ge

问题内容： 我一直在试验Kafka，并从主站点的文档中看到，您可以为jvm设置不同的选项，例如堆大小和它使用的垃圾收集器： http://kafka.apache.org/documentation.html#java 但是，没有说的是如何/在何处设置这些选项。该应用程序带有一个/ config目录，其中包含许多用于配置目的的文件，但没有用于Java的文件。它还带有一个/ bin目录，其中包含一堆

问题内容： 我正在开发Windows机器上编写Kafka Streams应用程序。如果我尝试使用Kafka Streams 的和功能，则在执行jar应用程序时出现以下错误： 似乎Kafka找不到DLL，但是请稍候…我正在开发Java应用程序！ 可能是什么问题呢？而且，如果我尝试像a这样的更简单的流操作，为什么不会显示此错误？ 更新： 仅当代理中存在消息时，才会出现此问题。我正在使用Kafka St

问题内容： 我们已经编写了一个Java客户端，用于将消息发布到kafka。代码如下所示 当我们执行此代码时，我们得到以下消息和异常 这发生在无限循环中，并且应用程序挂起…当我们检查kafka代理时，发现该主题已创建…但是我们没有收到消息…我们已经坚持了一段时间。 .. 请帮忙 问题答案： 我们终于解决了这个问题…我们在混合环境中运行kafka，如下文所述- https://medium.com/@

问题内容： 我正在使用几个Kafka连接器，但在控制台输出中看不到它们的创建/部署中的任何错误，但是我没有得到想要的结果（无论是任何结果，无论是期望的还是除此以外）。我基于Kafka的示例FileStream连接器制作了这些连接器，因此我的调试技术基于该示例中使用的SLF4J Logger的使用。我搜索了我认为会在控制台输出中产生的日志消息，但无济于事。我在这些消息中找错了地方吗？还是有调试这些连

问题内容： 在kafka流中定义拓扑时，可以添加全局状态存储。它将需要一个源主题以及一个。处理器接收记录，并可以在理论上对其进行转换，然后再将其添加到存储中。但是，在还原的情况下，记录会直接从源主题（更改日志）插入到全局状态存储中，从而跳过了最终在处理器中完成的转换。 StreamsBuilder＃addGlobalStore（StoreBuilder storeBuilder，字符串主题，已消耗

问题内容： 我正在尝试通过Scala公开Java方法（有关原始Java方法的更多详细信息- 它来自Kafka） 这是原始的Java方法： 如何在Scala中公开参数并将其传递给方法？我有类似的东西： 谢谢。 问题答案： 您的Scala代码段看起来正确，这是我填写其余内容的方式：

本文向大家介绍kafka 可以脱离 zookeeper 单独使用吗？为什么？相关面试题，主要包含被问及kafka 可以脱离 zookeeper 单独使用吗？为什么？时的应答技巧和注意事项，需要的朋友参考一下 kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。