当前位置: 首页 > 知识库问答 >
问题:

如何使用KCL从Kinesis数据流中获取记录

杨起运
2023-03-14

我试图使用类似于https://github.com/aws-sample/amazon-kinesis-learning的Kinesis客户端库来使用Kinesis数据流。但在这个例子中,他们计划了这个过程。我想消费没有调度器传入的记录。

我不想使用DynamoDB,CloudWatch。期望一个简单的使用者使用流中的记录

有没有什么方法可以在没有调度程序的情况下使用java处理记录

共有1个答案

卢志业
2023-03-14

KCL使用DynamoDB来管理碎片租约和检查点--这种功能/依赖性对KCL提供的内容至关重要。如果您不想要这些,我不知道您为什么首先要使用KCL。您可以使用Lambda来使用您的流,也可以直接调用API--这里有一些示例代码-https://docs.amazonaws.cn/en_us/streams/lates/dev/development-consumers-with-sdk.html

 类似资料:
  • 我想从Amazon Kinesis流中获取最新记录。我打算从中提取时间戳,并将其与消费者应用程序检查指向的最后一条记录的时间戳进行比较,以检查消费者是否落后。 我不能使用最新的shard迭代器类型。这是因为LATEST指向最近的记录之后,因此它不能用于访问最近的记录。 有没有简单的方法可以获得最新记录? 我正在考虑的一种方法是获取消费者最近处理的记录序列号的碎片迭代器,使用该碎片迭代器发出GetR

  • 我正试图成为一个动觉消费者客户。为了解决这个问题,我阅读了《Kinesis开发人员指南》和AWS文档http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-implementation-app-java.html. 我想知道是否有可能从两个不同的流中获取数据并进行相应的处理。 假设我有两个不同的流,分别是流1和流

  • 现在,我正在Amazon Kinesis视频流的客户端工作,使用Video.js和HTTP Streaming来显示视频。 然而,在stream server上,每个片段都有一些元数据(仅限文本)(如以下链接:https://aws.amazon.com/about-aws/whats-new/2018/10/kinesis-video-streams-fragment-level-metadat

  • 我是AWS的新手,希望得到一些指导。 我想处理最古老的未处理记录,但似乎无法正确获取参数。 当前架构 对于碎片迭代器: 我试过TRIM_HORIZON从一开始就给了我所有的记录。 我也试过LATEST,它只给了我一张最新的唱片。 不确定这些额外的细节是否有帮助,但。。。 我通过Lambda将自己的记录放在AWS控制台上 提前感谢!

  • 我有一个kinesis流,有一个碎片和一个用Python编写的lambda函数。我添加了kinesis流作为批量大小为5的事件源。我在kinesis中添加了数百条记录,lambda函数得到了正确的调用和执行。但是对于最后3条记录,lambda函数被无限地调用,即使函数返回是成功的。

  • 所以我尝试从pretag获取数据,我设置doc连接到url选择pretag,结果出错了,我需要获取的数据按这里