Kinesis数据生产者如何知道何时添加/删除分片？

Question

可以使用Kinesis API动态添加/删除分片。此外，Kinesis流数据生产者需要在其PutRecord API调用上设置适当的“分区键”（据我所知，它似乎映射到分片）。因此，您的数据生产者似乎也需要了解动态缩放，以利用新分片或停止发送到已删除的分片。

问：我的数据生产者如何动态跟踪特定流上可用的碎片，并创建分区键来匹配它们？

Answer 1

生产者应该完全按照您在重新分片期间所说的方式工作。

据我所知，kafka在客户端api本身中维护分区信息的映射

public final class Cluster {
    private final Map<TopicPartition, PartitionInfo> partitionsByTopicPartition;
    private final Map<String, List<PartitionInfo>> availablePartitionsByTopic;

    // ...
}

并且在每个发送（消息，分区键）上，获取活动分区的数量以计算分区。请参阅Default分区

public class DefaultPartitioner implements Partitioner {

    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);

        List<PartitionInfo> availablePartitions = cluster.availablePartitionsForTopic(topic);

        // ...
    }
}

然而，kinesis客户端只需使用参数partitionKey，我认为一旦记录信息发送到kinesis服务器，就会根据与活动碎片数量相同的逻辑来决定它应该去的确切分区。所以，我相信计算运动分区/碎片对客户端api是隐藏的。