KCL未处理AWS kinesis流三分之二碎片的记录
我们有一个带有三个分片的运动流，我们的运动应用程序有三个实例。我们可以看到记录被发布到我们的所有三个分片，但我们的运动应用程序只能处理来自一个分片的记录。监听其他两个分片的工人经常会睡着。
知道是什么原因吗？
共有1个答案
在内部存储上读取getRecords api调用上的记录时，Kinesis在内部有一个超时。当您的写入速率较高时，可能会出现这样的情况：由于超时，kinesis内部无法获取所有新记录。当您写入大量记录，但读取速率低于默认的每秒1条时，通常会出现这种情况。当您的读取速率为
碎片迭代器年龄是一个指标，您可以从中找出碎片/流中的读取落后于最新记录的程度。如果迭代器年龄为10小时，则表示您当前正在读取10小时前写入碎片的记录。
此外，流不是队列。您不能像在SQS（visibilityTimeout）中那样等待处理完成到检查点。你必须立即检查，否则根本不检查
-
我在Kinesis流中的一些特定分片下有一组记录。我正在使用KCL 2. x消费者从kinesis中消费记录，但问题是消费者正在从流中所有可用的分片中获取我的记录。所以有没有什么方法可以在配置configBuilder对象或KCL消费者时指定分片或它们的ID，以便只消费来自指定分片的记录。 示例代码： 提前感谢！
-
问题内容： 我的集群处于黄色状态，因为未分配某些分片。怎么办呢？ 我尝试设置所有索引，但是我认为这不起作用，因为我使用的是1.1.1版本。 我也尝试过重新启动所有机器，但同样发生。 任何想法？ 编辑： 群集统计信息： 问题答案： 这些未分配的分片实际上是主节点上实际分片的未分配副本。 为了分配这些分片，您需要运行一个新的elasticsearch实例来创建一个辅助节点来承载数据副本。 编辑： 有时
-
问题：我已经启动了五个elasticsearch节点，但只有66,84%的数据在kibana中可用。当我用localhost检查集群运行状况时：9200/u cluster/health？pretty=true我得到了以下信息： 除kibana指数外，我所有的指数都是红色的。 小部分：
-
一、简介 碎片是什么？把一个完整的页面理解成由许多块组成，而每一个“块”我们就可认为就是一个”碎片“！ 这样，我们在页面放置一些碎片，在以后的维护维护中，只需要对碎片进行维护！ 碎片功能支持完全手动更新，并且可以搜索内容，可恢复数据至任何历史版本，常用于专题制作和首页频繁更新的内容。 您可以在模板中直接插入 {pc:block pos="index_block_1"}{/pc} 格式的碎片标签，然
-
本文向大家介绍详解golang碎片整理之 fmt.Scan，包括了详解golang碎片整理之 fmt.Scan的使用技巧和注意事项，需要的朋友参考一下 本文介绍了从golang语言中fmt包从标准输入获取数据的Scan系列函数、从io.Reader中获取数据的Fscan系列函数以及从字符串中获取数据的Sscan系列函数的用法。 Scan系列 go语言fmt包下有fmt.Scan、fmt.Scanf
-
问题内容： 我有一个具有4个节点的ES集群： 我不得不重新启动search03，当它回来时，它又重新加入了群集，没有问题，但是留下了7个未分配的碎片。 现在，我的集群处于黄色状态。解决此问题的最佳方法是什么？ 删除（取消）分片？ 将分片移动到另一个节点？ 将分片分配给节点？ 将“ number_of_replicas”更新为2？ 还有其他东西吗？ 有趣的是，当添加新索引时，该节点开始在该节点上工作