Kafka流：存储中的行数
我需要获取存储中的行数，存储在低级处理器API中维护。我看到，方法“近似数字条目（）”可以在此存储中提供键值映射的近似计数。你能澄清一下准确度的%吗，这意味着如果商店里有100行，我们会得到95行作为近似计数吗？或者它有时会低于50行吗？只是想了解影响计数准确性的因素。
注意：假设流应用程序使用单个主题并在单个实例上运行。存储是通过低级处理器API访问的，不确定默认情况下是否应用了任何缓存。提交频率保持默认值。
共有1个答案
这取决于商店。如果您使用的是默认的RocksDB存储，则该方法会从RocksDB内部返回“RocksDB.estimate num keys”（参见。https://github.com/facebook/rocksdb/wiki/RocksDB-FAQ)--不确定错误界限是什么。
对于内存存储，计数实际上在当前实现（当前版本1.1）中是准确的。
-
我要用Kafka流计算平均值。所以我做了一个有状态的操作，聚合，需要创建一个状态存储，但是这种情况不会发生。 这里是平均值的函数： 以下是例外情况： 问题是基本目录不存在，但我希望kafka流在必要时创建目录。 编辑 ----- 我注意到，如果我有1个处理器，使一个变量的平均值没有问题，但如果我有2个处理器是。 1个处理器的配置文件： 2个处理器的配置文件： 现在我启动处理器： 类型元组包含配置文
-
我已经阅读了有状态流处理概述，如果理解正确的话，RocksDB被用作键值存储的默认实现的主要原因之一是这样一个事实，即与内存中的集合不同，它可以处理大于可用内存的数据，因为它可以刷新到磁盘。这两种类型的存储都可以在应用程序重新启动时幸存下来，因为数据是作为Kafka主题备份的。 但还有其他不同吗？例如，我注意到我的持久状态存储为每个主题分区创建了一些。log文件，但它们都是空的。 简而言之，我想知
-
我正在开发使用Spring Cloud Stream构建的Kafka Streams应用程序。在这个应用程序中，我需要： 使用可在以后检索的连续消息流。 保留与某些条件匹配的邮件 ID 列表。 在单独的线程中，运行一个计划程序，该计划程序定期读出消息 ID，检索与这些 ID 匹配的相应消息，并对这些消息执行操作。 从列表中删除已处理的消息 ID，以便不重复工作。 我已考虑如下实施： < li >将
-
我有一个像下面这样的用例。对于每个传入的事件，我希望查看某个字段，看看它的状态是否从a变为B，如果是，则将其发送到输出主题。流程是这样的：一个带有键“xyz”的事件以状态A进入，一段时间后另一个带有键“xyz”的事件以状态B进入。 有没有更好的方法使用DSL来编写这个逻辑？ 上面代码中关于聚合创建的状态存储的两个问题。 null 提前道谢！
-
这两个URL之间有区别吗？一个直接指向mp4，然后另一个URL是“下载链接”？有区别吗？ 在谷歌云平台中有这样存储文件的选项吗？
-
我有多个冗余的应用程序实例，希望消费一个主题的所有事件，并存储它们独立的磁盘查找（通过一个rocksdb）。 为了便于讨论，让我们假设这些冗余消费者正在服务无状态http请求；因此，不使用kafka共享负载，而是使用kafka将数据从生产者复制到每个实例LocalStore中。 在查看生成的主题时，每个消费应用程序创建了3个额外的主题： null null 下面是创建存储区的代码