当前位置: 首页 > 知识库问答 >
问题:

使用Dynamodb streams Kinesis适配器时,Kinesis客户端库使用者是否支持将AT\U时间戳作为起始位置

鱼意远
2023-03-14

根据doc Dynamodb streams和Kinesis data streams,低级API是相似的,但它们并非完全相同。

我注意到Dynamodb流的GetShardIterator有点不同,即它不支持AT_TIMESTAMP作为分片迭代器类型。

所以,我

我的推理正确吗?我还没有实现它。如果这似乎是一个阻碍点,我宁愿寻找另一个解决方案。

共有1个答案

邵锐
2023-03-14

使用Dynamodb streams Kinesis适配器时,Kinesis客户端库使用者不支持将AT\U时间戳作为起始位置:

https://github.com/awslabs/dynamodb-streams-kinesis-adapter/blob/50750146b1ccc1d87793522780ca21b4e376b2e1/src/main/java/com/amazonaws/services/dynamodbv2/streamsadapter/model/GetShardIteratorRequestAdapter.java#L142

 类似资料:
  • 这里在github上发布的DynamoDB Streams Kinesis Adaptor具有此功能,并带有以下注释: Kinesis模型在父分片合并的情况下提供相邻的父分片ID。由于DynamoDB Streams不支持合并,因此始终返回null。 我对此感到担忧,我将使用7个碎片的示例来描述我的担忧,为了简单起见,让我们将它们命名为0到6。 由于保留策略,0的父级不再可用,1、2、3、4、5是

  • 我有一个使用KCL 2. x从Kinesis消费记录的应用程序,不同流分片中存在的数据格式不同,我想使用具有不同配置的不同KCL消费者单独处理它们。例如,如果我在Kinesis流中有3个分片,我将为不同的分片生成3个具有不同配置的不同消费者,即每个分片1个消费者。当我创建多个消费者时,我面临的问题是,如果我通过java Code配置3个不同的消费者,那么他们中的任何一个都在所有分片上出现租赁锁,而

  • 在我们的网站上http://www.draw.io/右上角有一个使用JS API客户端库进行授权的Google Drive集成按钮。这在任何地方都可以正常工作,除了iOS6上的Safari。单击它时,一个新选项卡会短暂弹出,然后消失。从我们的日志记录中调用了我们的授权调用,但永远无法访问我们的回调函数。 我们遵循了此线程中的提示,以获得合理水平的多帐户处理工作,并且它在我们测试过的所有其他环境中都

  • 我想了解何时从worker调用IRecordProcessor的processRecords方法。如果我之前对processRecords的调用尚未完成,那么worker会调用下一个processRecords吗?worker将开始从kinesis获取新记录,还是等待当前记录完成执行。 基本上,如果processRecords在外部db中保存记录时出现异常,我会等待很长时间,因为db关闭或出现其他

  • 我正在编写一个Spring webservice客户机,它调用一个SOAP服务,它返回一个带有附件的SOAP响应(MTOM->XOP include tag in response)。 在我当前的客户机代码中,我使用了SaajSoapMessageFactory并在WebServiceTemplate中注入了相同的内容,我还在封送器中将MtomEnabled设置为true。 客户端的SaajSoa

  • 我刚刚遇到了一个非常奇怪的问题,当使用带有时间戳和水印赋值器的EventTime时,我无法从流窗口联接中获得任何结果。 我使用Kafka作为我的数据流源,并尝试了AscendingTimestampExtractor和自定义赋值器,它们实现了Flink留档中提到的Assignerwith周期水印,正如我测试的那样,没有发出水印,也没有生成连接结果。如果我更改为使用ProcessingTime和Tu