Kafka流拓扑优化

Question

在准备拓扑优化时，我偶然发现了以下几点：

目前，Kafka Streams在启用时会执行两种优化：

1-源KTable将源主题重新用作变更日志主题。

2-如果可能，Kafka流会将多个重新分区主题压缩为单个重新分区主题。

这个问题是关于第一点的。我不完全明白这里发生了什么。只是为了确保我没有在这里做任何假设。有人能解释一下，以前是什么状态吗：

1-KTable使用内部变更日志主题吗？如果是，有人能给我指出一个文档吗？接下来，变更日志主题是什么？它实际上是更新操作的更新日志吗？

2-如果我最后的猜测是真的，我不明白由upsert组成的变更日志如何只能被源主题替换？

Answer 1

changelog主题是配置了日志压缩的Kafka主题。对KTable的每次更新都会写入变更日志主题。因为主题是压缩的，所以不会丢失任何数据，重新读取changelog主题可以重新创建本地存储。

此优化的假设是，源主题是一个压缩的主题。在这种情况下，源主题和相应的变更日志主题将包含完全相同的数据。因此，优化删除了变更日志主题，并在恢复期间使用源主题重新创建状态存储。

如果输入主题未压缩但应用了保留时间，则可能不希望启用优化，因为这可能导致数据丢失。

关于历史：最初，Kafka Streams对这种优化进行了硬编码（因此，如果潜在的数据丢失是不可接受的，则“强制”用户只将压缩的主题作为KTables读取）。然而，在版本1.0中引入了一个回归错误（通过https://issues.apache.org/jira/browse/KAFKA-3856:新的StreamsBuilder行为与旧的KStreamBuilder不同，StreamsBuilder总是会创建一个变更日志主题“删除”优化。在版本2.0中，问题已得到修复，优化再次可用。（参见https://issues.apache.org/jira/browse/KAFKA-6874)

注意：优化仅适用于源KTable。对于计算结果（如聚合或其他），优化不可用，并将创建更改日志主题（如果未显式禁用，则禁用相应存储的容错功能）。