雪花Kafka连接器疑惑与疑问

Question

我正在使用 3 个服务器集群进行 Kafka 配置，使用 Snowflake 连接器 REST API 将数据推送到 Snowflake 数据库：所有这些都是在 AWS 上运行的 3 个不同的虚拟机

1.在这种情况下，我们是否需要3个kafka单独的服务器zookeeper服务需要在集群中启动和运行，否则只有1个就足够了，就像它需要在所有3个服务器zookerper服务中执行一样，它是否需要不同的端口配置，例如：

1.a：zookeeper.connect=xx.xx.xx.xxx：2181，xx.xx.xx.xxx:2182，xx.xx.xx.xxx:2183 否则在所有服务器属性html" target="_blank">文件中它应该是 2181

1.b:明文://localhost:9091在server1中，明文://localhost:9092和明文://localhost:9093(即使在这也应该是localhost else IP地址)需要给？

1.c:server.1=

1. d：Clientport=2181在所有3个VM中的服务之间需要相同，否则需要不同？

1. e：每个服务器上的侦听器=PLAINTEXT：//your.host.name:9092是否应该有单独的端口，如VM-Server1:9092、VM-Server2:9093、VM-Server3:9094。否则主服务器IP应该在Server2和Server3的工作节点中给出，否则该工作节点的自己的服务器IP

对于配置项“任务.max”：“1”，连接器的 REST-API 应该配置什么。由于我将为 Kafka 使用 3 个服务器集群，并将在所有 3 台机器上启动 3 个分发连接器

如果我在第二台服务器上启动分布式连接器的服务，我会得到重复的记录，那么如何避免这些重复的记录。但是，如果它只有一个分布式连接器在运行服务，那么就没有重复。请注意，如果只有1个分布式连接器服务启动并运行，则延迟会增加。

创建/data/zookeeper/myid文件，并为zookeeper1赋值1，为zookeeper2赋值2，为zookeeper3赋值3。当你在不同的虚拟机中时，这是必要的吗？

分布式连接器服务一旦开始执行一段时间，然后就会断开连接

需要遵循的3服务器集群架构和最佳实践的任何其他参数

Answer 1

您只需要一个Kafka代理和Zookeeper服务器，尽管拥有更多的代理可以提供容错性。您不需要在Zookeeper中手动创建任何文件，例如myid文件。

端口不需要相同，但如果是，绘制网络图并自动配置显然更容易。

关于Kafka的听众，请阅读这篇文章。对于Zookeeper，如果您想创建一个集群，请遵循它的文档。

或者使用Amazon MSK/ConFluent Cloud等而不是EC2，这一切都为您完成。

任务。max可以根据您的需要而定，但是如果您有一个源连接器，那么多个线程可能会导致重复，是的。