当前位置: 首页 > 知识库问答 >
问题:

保留期运动

申自明
2023-03-14

我用Spark streaming Kinesis开发了应用程序。我在2015年10月30日启动了我的应用程序,它运行正常。我看到今天(2015-11-02)我重新启动了应用程序,它开始处理2015-11-02。为什么?保留期?在文档中

msgstr"您可以使用增加保留时间操作将保留时间延长至168小时"

我尝试使用文档中描述的命令增加

aws运动增加流保留期--流名称XXXX--保留期小时数160

但是

用法:aws[选项][参数]aws:错误:参数操作:无效选择,有效选择为:向流添加标记|创建流删除流|描述流获取记录|获取碎片迭代器列表流|列出流合并碎片的标记|放置记录|从流拆分碎片中删除标记|等待帮助

我应该做什么来增加保留期???

字缓冲寄存器

共有2个答案

颜华池
2023-03-14
  • 我认为它与保留期无关。如果您使用的是Kinesis客户端库(KCL),您可能正在将最后一个工作位置持久化到DynamoDB。因此,如果您停止并启动您的应用程序,它将从最后一个已知位置继续工作。

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-ddb.html

  • 如果要读取碎片中以前的所有数据,应该将DynamoDB中的检查点更新为“TRIM\u HORIZON”

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-additional-considerations.html

  • 当应用程序看到TRIM_HORIZON时,它将读取Kinesis Stream中的第一个数据(大约23小时55分钟前)。您可以在此处找到有关保留的更多信息;

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-extended-retention.html

漆雕硕
2023-03-14

您需要更新您正在使用的aws cli。您可能正在使用不知道更新命令选项的旧版本。

@az3的答案也值得研究,以了解为什么您会在当前进行的地方进行处理。(他解释了这种行为,我倾向于同意:))

 类似资料:
  • 我有一个Kafka的题目有1个分区。如果它有100条消息,偏移量将从0.99开始。 根据Kafka保留策略,在指定的时间之后,所有的消息都将被清除。 并且我正在发送100个新的消息到主题,一旦所有已经被清除(在保留期之后)。现在,消息的新偏移量从哪里开始呢?是从100还是从0?? 我想知道新的偏移是100-199还是0-99?

  • 问题内容: 传统上,在Objc中,我们会执行weakSelf来防止块的额外保留计数。 swift如何在内部管理Objc块中发生的保留周期? 问题答案: 为防止块对对象的强烈引用,必须为块定义捕获列表。 闭包表达式的语法定义如下: 但这会在文档的后面进行扩展以包括捕获列表。这实际上等效于如下定义的表达式语法: …在哪里可以是或。 捕获列表是出现在闭包中的第一件事,它是可选的。如上所示,语法定义为一对

  • 问题内容: 在使用惰性初始化程序时,是否有保留周期的机会? 在博客文章和许多其他地方都可以看到 我试过了 这样使用 并发现记录了“人deinit”。 因此,似乎没有保留周期。据我所知,当一个块捕获自身时,以及当该块被自身强烈保留时,会有一个保留周期。这种情况似乎类似于保留周期,但实际上并非如此。 问题答案: 我尝试过这个[…] 似乎没有保留周期 正确。 原因是考虑立即应用封闭。它不会保留捕获的内容

  • 问题内容: 分页时有什么方法可以保留我的GET参数。 我的问题是我有几个不同的网址,即 我应该如何在分页类中创建指向页面上具有不同页码的页面的链接,但仍然保留网址的其他部分? 问题答案: 简而言之,您只需解析URL,然后在最后添加参数,或者如果参数已经存在,则将其替换。 此示例代码需要用于和的PHP HTTP模块 。后者可以替换为第一个,如果没有安装模块,则可以使用PHP用户空间实现。 另一种选择

  • 为了便于编程,CodeIgniter使用了一系列的函数和名称来完成操作。所以,有些名称不能被程序员使用。下面是不能被程序员使用的保留字列表。 控制器 因为你的控制器类将继承主程序控制器,所以你的函数命名一定不能和主程序控制器类中的函数名相同,否则你的局部函数将会覆盖他们。下面列出了已经保留的名称,请不要将你的控制器命名为这些: Controller CI_Base _ci_initialize D