在Kafka Connect分布式模式下为多个主题配置连接器

Question

我们有制作人将以下内容发送给Kafka：

• 主题=系统日志，每天 ~25，000 个事件
• topic=nginx，每天 ~5，000 个事件
• topic=zeek.xxx.log，每天~100，000个事件（总计）。在最后一种情况下，有 20 个不同的 zeek 主题，例如 zeek.conn.log 和 zeek.http.log

kafka connect elasticsearch实例充当消费者，将数据从kafka发送到elasticsearch。kafka connect弹性搜索的hello world Sink配置可能如下所示：

# elasticsearch.properties
name=elasticsearch-sink
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=24
topics=syslog,nginx,zeek.broker.log,zeek.capture_loss.log,zeek.conn.log,zeek.dhcp.log,zeek.dns.log,zeek.files.log,zeek.http.log,zeek.known_services.log,zeek.loaded_scripts.log,zeek.notice.log,zeek.ntp.log,zeek.packet_filtering.log,zeek.software.log,zeek.ssh.log,zeek.ssl.log,zeek.status.log,zeek.stderr.log,zeek.stdout.log,zeek.weird.log,zeek.x509.log
topic.creation.enable=true
key.ignore=true
schema.ignore=true
...

并且可以使用bin/connectstandalone.sh调用。我意识到运行或尝试运行任务。max=24当在单个过程中执行工作时不理想。我知道使用分布式模式将是更好的选择，但不清楚将连接器提交到分布式模式的最佳性能方式。即

• 在分布式模式下，我还想通过单个API调用提交单个elasticsearch.properties吗？还是最好拆分多个。属性配置连接器（例如，一个用于syslog，一个用于ngin x，一个用于zeek。**）并分别提交它们？
• 我知道任务等于主题的数量x分区的数量，但是是什么决定了工作人员的数量？
• 在留档中是否存在针对不同主题的吞吐量明显不平衡的情况的最佳实践？

Answer 1

在分布式模式下，我还想通过单个API调用提交单个elasticsearch.properties吗？

它应该是一个JSON文件，但是的。

什么决定了工人的数量？

取决于你。JVM使用率是您可以监视和扩展的一个因素

据我所知没有留档