Kafka：主题压缩通知？
我收到了一个数据库更改流，这些更改最终形成了一个压缩的主题。流基本上是键/值对，并且键空间很大(~4 GB）。
这个主题由一个kafka流进程使用，该进程将数据存储在RockDB中（每个消费者/碎片单独使用）。处理器做两件不同的事情：
- 将数据连接到另一个流中。
- 检查来自主题的邮件是新密钥还是对现有密钥的更新。如果是更新，则将旧的键/值和新的键/值对发送到不同的主题（更新很少）。
-
null
共有1个答案
你的整体设计很有意义。
关于联接语义：我想您需要坚持使用处理器API，因为常规ktable不能提供您想要的。它也不可能钩入压实过程。
但是，Kafka Streams也支持内存中的状态存储:https://Kafka.apache.org/documentation/Streams/developer-guide/processor-api.html#state-stores
-
我在《掌握Kafka Streams and ksqlDB》一书中遇到了以下两个短语，作者使用了两个术语，它们的真正含义是“压缩主题”和“未压缩主题” 他们对“日志压缩”有什么看法吗？ 表可以被认为是对数据库的更新。在日志的这种视图中，只保留每个键的当前状态（给定键的最新记录或某种聚合）。表通常是从压缩的主题构建的。 用数据库的说法，流可以被视为插入。每个不同的记录都保留在此日志视图中。流通常是从
-
只是关于Kafka的后续问题-未压缩主题与压缩主题 正如那里所说， 用数据库的说法，流可以被视为插入。每个不同的记录都保留在此日志视图中。流通常是从未压缩的主题构建的。 作为最佳实践，关于未压缩主题的语义，是否应禁用要在日志启用程序中取消压缩的主题，以便不会发生压缩（清理），其属性如下： 日志清洁工enable=false或log。清洁工启用=true（默认），清除策略为“delete”（默认）
-
我想问你们一些关于阿帕奇·Kafka和压缩主题的问题。我们想提供一些Kafka压缩主题的PII数据。我们想通过墓碑删除这个主题的数据。目前有多个问题需要验证我们的假设： 有没有其他公司像KIP-354那样通过压缩主题和墓碑生成来满足Kafka的gdpr要求（忘记的权利）https://cwiki.apache.org/confluence/display/KAFKA/KIP-354:添加最大日志压
-
我使用的是Debezium，它制作了Kafka Connect。Kafka Connect公开了几个需要创建的主题： OFFSET_STORAGE_TOPIC运行Kafka Connect服务时需要此环境变量。将此设置为Kafka主题的名称，其中Kafka Connect服务组存储连接器偏移。主题应该有许多分区，高度重复(例如，3倍或更多)，并且应该为压缩进行配置。 STATUS_STORAGE_
-
我在一个输入主题上构建KTable，并且在两个Kafka Stream应用程序实例上加入KStream。 KTable的输入主题已经是一个日志压缩主题。因此，当我的一个应用程序实例关闭时，通过读取input log compacted主题，另一个实例状态存储似乎会用整个状态刷新。 所以不需要为我的KTable存储启用日志记录（更改日志）？ 我的源输入日志压缩主题可能有数百万条记录，所以如果我在KT
-
我有一个带有Kafka使用者的spring应用程序，它使用@KafKalisterner注释。正在使用的主题是日志压缩的，我们可能会遇到必须再次使用主题消息的情况。以编程方式实现这一目标的最佳方法是什么？我们不控制Kafka主题配置。