如何在 Kafka Connect Sink 中指定 Kafka 主题的分区
我试图为我的Kafka Connect Sink指定一个主题分区。特别是，我正在使用DataStax Apache Kafka连接器。
有大量与为 Kafka 使用者指定主题分区相关的文档和资源，例如：
- https://kafka-tutorials.confluent.io/kafka-console-consumer-read-specific-offsets-partitions/kafka.html
- 消费者。如何指定要读取的分区？[Kafka]
然而，对于如何指定给定Kafka Connect Sink Connector从哪个分区读取数据，我完全找不到任何信息。
看起来像ConFluent连接器开发文档暗示，指定分区应该是可能的，但我没有看到任何配置，我可以设置在通用的Kafka Sink配置属性文档，也不在DSE Kafka连接器配置文档。
我的理解是，Kafka Connect Sink基本上是Kafka Consumer的特定实现，它写入给定的数据存储。如果是这样，应该可以指定一个分区，对吗？还是我对 Kafka 连接器的工作原理产生了误解？
共有1个答案
您不能在Connect API中指定分区。它订阅所有分区，然后将消费者实例作为消费者组的一部分分配给工作任务。
-
Kafka主题分区偏移位置始终从0或随机值开始，如何确保使用者记录是分区中的第一条记录？有没有办法找出答案？如果有的话，请让我知道。谢谢。
-
问题内容： 我需要在kafka-0.8.2.2.3中删除一个主题。我已使用以下命令删除该主题： 该命令已成功执行，但是当我运行命令以列出主题时，我可以看到该主题仍然存在，并且显示 标记为“删除” 。 当我创建主题DummyTopic时，它会输出异常，该主题已存在，下面是堆栈跟踪： 请让我知道如何删除该主题。 问题答案： 从0.8.2.x版本开始支持删除主题。您必须首先在所有代理上启用主题删除（设置
-
简单问题： 假设我有一个具有3个分区的主题：Topic：StateEvents P1、P2和P3。 让我们假设生产者生成20条消息： 1, 2, 3, ..........20 我的问题是: 当制作人生成这些消息时： 1）每个消息将只在且仅在1个分区？也就是说，1在P1,2在P2,3在P3，然后4在P1,5在P2,6在P3，以此类推？ 2）如果#1为真，当消费者订阅时，它将订阅所有分区，以便获得所
-
我如何通过可能从application.yml中插入“+死信”来设置相同的Kafka主题？我试过这样一件事： 但它给我创造了两个同名的不同主题。我正在等待一些建议，谢谢你的帮助！
-
我有这样的拓扑： 拓扑中最后提到的源是每个应用程序实例的特定主题。我希望该主题仅由该实例处理。此主题的数据由前一个处理器推送，基于哪个实例必须处理该消息。 但是一旦流启动，它会尝试将实例特定的主题分区也分配给其他实例。我们可以在Kafka流中实现这个要求吗？ 我希望一个主题仅由特定实例处理。