如何在AWS Kinesis中使用ExplicitHashKey进行循环流分配

Question

我正试图通过Amazon Kinesis（每秒订购10000点）传输大量数据。

为了通过我的碎片最大化每秒的记录，我想在碎片上循环我的请求（我的应用程序逻辑不关心碎片的单个消息会传递到哪里）。

看起来我可以使用我发送到PutRecordsendpoint的列表中的消息的ExplichHashKey参数来执行此操作-但是Amazon留档实际上并没有描述如何使用ExplichHashKey，除了以下的oracular语句：

http://docs.aws.amazon.com/kinesis/latest/APIReference/API_PutRecords.html

Records数组中的每个记录可能包括一个可选参数ExplicitHashKey，该参数重写分区键到碎片的映射。此参数允许数据生产者明确确定存储记录的碎片。有关更多信息，请参阅《Amazon Kinesis Streams开发人员指南》中的“使用PutRecords添加多个记录”。

（上面文档中的语句有一个指向留档另一个部分的链接，该部分根本不讨论ExplwitHashKeys）。

有没有一种方法可以使用ExplicitHashKey在碎片之间循环数据？

参数的有效值是什么？

Answer 1

每个碎片被分配一个从0到2^128-1的128位整数序列范围。

您可以通过AWS CLI在流中找到分配给给定碎片的整数范围：

aws驱动描述流--stream名称流

输出将如下所示：

{
    "StreamDescription": {
        "RetentionPeriodHours": 24, 
        "StreamStatus": "ACTIVE", 
        "StreamName": "name-of-your-stream", 
        "StreamARN": "arn:aws:kinesis:us-west-2:your-stream-info", 
        "Shards": [
           {
                "ShardId": "shardId-000000000113", 
                "HashKeyRange": {
                    "EndingHashKey": "14794885518301672324494548149207313541", 
                    "StartingHashKey": "0"
                }, 
                "ParentShardId": "shardId-000000000061", 
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49574208032121771421311268772132530603758174814974510866"
                }
            }, 
           { ... more shards ... }
       ...

您可以将记录的显式SHKEY设置为shard哈希键范围内任意位置整数值的字符串十进制表示，以强制将其发送到该特定shard。

请注意，由于先前对碎片进行了合并和拆分操作，可能有许多碎片具有重叠的HashKeyRanges。当前打开的碎片是没有SequenceNumberRange的碎片。EndingSequenceNumber元素。

您可以通过识别每个感兴趣的分片范围内的128位整数来在一组分片之间循环请求，并循环将该数字的字符串表示形式分配给每个记录的ExplwitHashKey。

作为补充说明，您还可以通过以下方式计算给定分区键的哈希值：

1. 计算分区键的MD5和
2. 将MD5和解释为十六进制数，并将其转换为以10为基数。这将是该分区键的哈希键。然后，您可以查找该散列键属于哪个碎片