Kafka Connect主题压缩最佳实践
我使用的是Debezium，它制作了Kafka Connect。Kafka Connect公开了几个需要创建的主题：
OFFSET_STORAGE_TOPIC运行Kafka Connect服务时需要此环境变量。将此设置为Kafka主题的名称，其中Kafka Connect服务组存储连接器偏移。主题应该有许多分区，高度重复(例如，3倍或更多)，并且应该为压缩进行配置。
STATUS_STORAGE_TOPIC运行Kafka Connect服务时应提供此环境变量。将其设置为Kafka主题的名称，其中Kafka Connect服务处于组存储连接器状态。该主题可以有多个分区，应该高度复制（例如，3倍或更多），并且应该配置为压缩。
有没有人对这些主题有任何具体的推荐压缩配置？
例如
仅仅设置以下内容就足够了吗:
cleanup.policy: compact
unclean.leader.election.enable: true
或者还有:
min.compaction.lag.ms: 60000
segment.ms: 1800000
min.cleanable.dirty.ratio: 0.01
delete.retention.ms: 100
共有1个答案
默认值应该没问题，Connect将自行创建/配置这些主题，除非您使用这些设置预先配置这些主题。
这些是我能想到何时调整压实设置的唯一情况
- 一个在这个话题上停留的时间比你想象的要长。例如，源连接器在长时间停机后不会立即启动，因为它正在处理偏移主题
- Connect群集无法准确报告其状态，或者任务没有适当地重新平衡（因为状态主题处于错误状态）
__consumer_offsets（压缩）主题是用于Sink连接器的主题，将为所有使用者单独配置，而不仅仅是Connect
-
我在《掌握Kafka Streams and ksqlDB》一书中遇到了以下两个短语，作者使用了两个术语，它们的真正含义是“压缩主题”和“未压缩主题” 他们对“日志压缩”有什么看法吗？ 表可以被认为是对数据库的更新。在日志的这种视图中，只保留每个键的当前状态（给定键的最新记录或某种聚合）。表通常是从压缩的主题构建的。 用数据库的说法，流可以被视为插入。每个不同的记录都保留在此日志视图中。流通常是从
-
问题内容： 什么是最好的JavaScript压缩器？我正在寻找一种工具： 易于使用 压缩率高 产生可靠的最终结果（不会弄乱代码） 问题答案： 除了去除空格之外，UglifyJS还执行以下操作： 更改局部变量名称（通常更改为单个字符） 加入连续的var声明 避免插入任何不需要的括号，括号和分号 优化IF（在检测到不需要时删除“ else”，并在可能的情况下将IF转换为&&，||或？/：运算符，等等）
-
在为Apache Kafka创建主题时，什么是最佳实践<每个人都允许自动创建主题吗？或者你是如何做到的？您是否将主题创建步骤与kafka实例的开始捆绑在一起 我有一个基于docker的Kafka安装，它已经被多个应用程序使用了。如何将每个应用程序的主题创建与Kafka容器的启动分开？。在Confluents音乐演示中，他们通过旋转一个新的Kafka图像来创建主题，调用“创建主题脚本”，然后让容器消
-
我收到了一个数据库更改流，这些更改最终形成了一个压缩的主题。流基本上是键/值对，并且键空间很大(~4 GB）。 这个主题由一个kafka流进程使用，该进程将数据存储在RockDB中（每个消费者/碎片单独使用）。处理器做两件不同的事情： 将数据连接到另一个流中。 检查来自主题的邮件是新密钥还是对现有密钥的更新。如果是更新，则将旧的键/值和新的键/值对发送到不同的主题（更新很少）。 null
-
问题内容： 我正在阅读 http://www.alexrothenberg.com/2013/02/11/the-magic-behind-angularjs- dependency-injection.html ，事实证明，如果您缩小JavaScript的大小，angularjs依赖项注入会出现问题，我想知道是否 你应该使用 总而言之，我认为第二个片段是针对angularjs的旧版本的，但是..
-
只是关于Kafka的后续问题-未压缩主题与压缩主题 正如那里所说， 用数据库的说法，流可以被视为插入。每个不同的记录都保留在此日志视图中。流通常是从未压缩的主题构建的。 作为最佳实践，关于未压缩主题的语义，是否应禁用要在日志启用程序中取消压缩的主题，以便不会发生压缩（清理），其属性如下： 日志清洁工enable=false或log。清洁工启用=true（默认），清除策略为“delete”（默认）