如何使用Kafka连接s3接收器连接器标记S3桶对象

Question

有没有办法通过Kafka Connect S3接收器连接器标记写入S3存储桶的对象。我正在读取来自Kafka的消息，并使用S3接收器连接器将avro文件写入S3存储桶。当文件写入S3存储桶时，我需要标记文件。

Answer 1

GitHub 上的源代码中有一个名为 addTags（） 的 API，但它现在是私有的，除了这个名为 S3_OBJECT_TAGGING_CONFIG 的小配置功能外，它不会向连接器客户端公开，该功能允许您向 s3 对象添加开始/结束偏移量以及记录计数。

 configDef.define(
      S3_OBJECT_TAGGING_CONFIG,
      Type.BOOLEAN,
      S3_OBJECT_TAGGING_DEFAULT,
      Importance.LOW,
      "Tag S3 objects with start and end offsets, as well as record count.",
      group,
      ++orderInGroup,
      Width.LONG,
      "S3 Object Tagging"
  );

如果你想添加其他/自定义标签，那么答案是否定的，你现在不能这样做。

有用的功能是从Kafka中输入文档的预定义部分获取标记，但目前还不可用。