《kafka》专题

因此，在下面的配置中，当我们将Spring Boot容器扩展到10个JVM时，事件的数量随机多于发布的数量，例如，如果发布了320000条消息，那么事件有时会达到320500条等等。。 更新以下更改现在似乎工作正常，我将在消费者中添加重复检查，以防止消费者失败的情况

我在两台ec2机器上运行我的kafka-connect。因此，不管任务数量有多少，这两台机器都会一直运行任务。因此是二手机器。最近我在kubernetes上迁移了kafka-connect。我实现了良好的CPU/内存效率。 但当kubernetes规模缩小时，问题就出现了。豆荚的缩小并不优雅。 假设有两个pods p1和p2。p1正在运行3个任务t1、t2、t3，p2正在运行2个任务t4、t5(这

我们已经在库伯内特斯中部署了自定义合流Kafka连接器作为状态集，它从Azure KeyVault挂载机密。这些机密包含db用户名和密码 机密作为环境变量被加载到容器中。基于< code > kubernetes-ingress-controller 路径的路由用于暴露restendpoint。 到目前为止，我们的团队在通过 Postman 创建连接器时无法使用环境变量。 连接器配置： （1） 和

用例是将整个消息（JSON）和键作为记录存储在表中，表中有两列“id”和“data”。 数据库是Postgres，它支持JSON的列类型。 根据本文，JSONCon的支持类型是字符串、int64等https://cwiki.apache.org/confluence/display/KAFKA/KIP-301：JsonConver的模式推理 是否可以将数据字段的类型设置为JSON，然后将其存储在P

以下是我用来安装 zookeeper 的当前 Dockerfile ，然后在 CentOS 容器上运行它： 我最困惑的是我如何让两个服务作为单独的图像/容器运行，但仍然相互交互。https://stackoverflow.com/a/45111909/12585645 我也不知道如何将它设置为一个集群。如果可能的话，我宁愿不用docker compose。

我正在尝试安装Kafka Kafka和Zookeeper正在运行Apache Kafka tarball(v 0 . 0 . 9 ),在Docker映像中。 尝试使用提供的脚本消费/生产。并尝试使用自己的java应用程序进行生产。如果Kafka一切正常 以下是我在尝试生成时遇到的错误： Kafka属性测试 首先: 第二： 第三： 上一个： 这是我的“/etc/hosts” 我遵循了入门指南，如果我

我想建立一个多kafka集群，大约有3个zookeeper实例，每个集群中有3个kafka代理，每个kafka经纪人大约有5个主题和5个分区。有什么设置指南可以参考吗？ PS:我可以找到带有多个Kafka代理的单个zookeeper实例的信息，但不能找到带有多个zookeeper实例的设置。

我想在我的生态系统中建立一个高可用性的kafka-zookeper。我有2个数据中心，每个数据中心有3台物理服务器。 服务器1-第一个Kafka经纪人 服务器2-第二个Kafka代理 服务器3-第三个Kafka Broker 所以一个具有 3 个代理的 Kafka 集群 Zookepeer集成-3个物理服务器中的3个zookeeper实例 配置与DC1相似 现在我的问题是- 通过执行上述设置，我们

在Kafka-manager github页面中写道: 最低配置是用于kafka管理器状态的zoo门主机。这可以在conf目录的application.conf文件中找到。相同的文件将打包在分发zip文件中；您可以在所需服务器上解压缩文件后修改设置。 Kafka-manager . ZK hosts = " my . zookeeper . host . com:2181 "您可以通过逗号分隔来指

我尝试在我们的8节点集群上设置Kafka和Spark与Mesos，如下所示，但使用Mesos masters的zookeeperendpoint启动/启动Mesos代理时出现问题。 > 在3个节点（服务器00、服务器01、服务器02）上安装和设置Zookeeper（通过$KAFKA_HOME/config/Zookeeper.properties） 在所有 8 个节点上安装 Kafka 代理（并通

出于特殊原因，我需要同时使用 （又名高级消费者）和 （又名低级消费者）来读取 Kafka。对于 ，我使用基于 ZooKeeper 的配置，并且对此完全满意，但 需要实例化种子代理。 我不想同时保留动物园管理员和经纪人主机的列表。因此，我正在寻找一种方法，从ZooKeeper中自动发现特定主题的经纪人。 由于一些间接的信息，我相信这些数据存储在ZooKeeper中的以下路径之一： < li > <代

我在Zookeeper和Kafka（各1个实例）中运行我的locahost。 我成功地从Kafka创建了一个主题： Kafka日志显示： 但Zookeeper的日志显示： 如果我尝试生成消息： server.properties（在Kafka中）是： 看来动物园管理员没有注册任何经纪人。 有什么建议吗？

我们在内部云上安装了kafka broker。我们使用zookeeper找到实际的url，并在bootstrap.server配置中提供。现在的问题是，当代理重新启动内部云时，它会使用新的主机端口在动态分配的机器上重新启动。现在，我最初在生产者配置中给出的主机端口无效。 问题是如何在不重新启动的情况下重新加载此配置。 注意：我知道这是一个糟糕的设计主机代理，它可以在不同的机器上重新启动，但这就是现

伙计们，如果有人经历过这个问题，请你帮帮我，我一直在绞尽脑汁，但没有成功，我尽可能多地阅读了很多帖子。 场景我有动物园管理员/两个经纪人和一个生产者和消费者在我的本地分区上运行，来自我子网内的不同IP地址，一切都很完美。我的生产者生产-消费者消费生活快乐。 我想在EC2上复制这一点，并在EC2中创建一个kafka代理，并希望该代理连接到我的动物园管理员，但由于某种原因，EC2上的代理无法连接到我。

假设我有 3 台 Kafka 服务器。服务器 1 zoopkeeper1 服务器 2 zoopkeeper2 服务器 3 zoopkeeper3 在集群配置中，zoopkeepers 会发生什么？它们是为每个服务器单独维护的，还是会在群集配置中同步其数据？