当前位置: 首页 > 知识库问答 >
问题:

墓碑和密钥存储清理

越俊艾
2023-03-14

我有几个用Java实现的Kafka消费者,我正在实现一个独立的应用程序来检查记录并删除它们。希望Kafka在压缩主题时删除状态存储。

现在...我对Kafka创建的不同类型的商店有点困惑。对于每一种类型的店铺,我想知道:

  • Kafka删除相应主题中的旧唱片时是否删除?
  • 删除相应主题中的记录时是否删除?
  • 我们是不是被困住了?

我看到的商店类型有以下几种:

    null

共有1个答案

满伟彦
2023-03-14

#2和#4不是商店--它们是由Kafaka流创建的内部主题。

没有办法显式清理这些重新分区主题,但Kafka会根据Kafka服务器retention.ms配置(如果未显式指定,则默认为7天)自动清理这些主题,因为这些主题(#2和#4)是由Kafka流使用cleanup.policy=delete创建的。

 类似资料:
  • 我用以下属性创建了一个Kafka主题 min.cleanable.dirty.ratio=0.01,delete.retention.ms=100,segment.ms=100,cleanup.policy=紧凑 假设我按1111:1,1111:2,1111: null,2222:1的顺序插入k-v对,现在除了最后一条消息,日志压缩在其余消息上运行并清除前两条消息,但保留1111: null 根据

  • 使用/生成的密钥和证书存储在称为密钥库的数据库中。 默认情况下,此数据库存储在名为.keystore的文件中。 您可以使用java.security包的KeyStore类访问此数据库的内容。 它管理三个不同的条目,即PrivateKeyEntry,SecretKeyEntry,TrustedCertificateEntry。 PrivateKeyEntry SecretKeyEntry Trust

  • 我看到钥匙和mModulas是相等的,有人知道吗?

  • 我从一个用spark-kafka-cassandra(在kubernetes上)重写猛犸象spark-kafka-hbase应用程序的初步想法开始。 我有以下数据模型,一个支持全时插入,另一个支持upserts 办法1: 创建表test.inv_positions( location_id int, item bigint, time_id timestamp, sales_floor_qty i

  • 对于PGP想要使用的签名和加密密钥,我是否可以使用2个JCE、RSA或DSA keypairs?把它们保存在密钥库中,当我想使用这些密钥时,只需按需重建PGP基础结构?

  • 我必须连接到一个基于REST的WebService。 (https://someurl.com/api/lookup/jobfunction/lang/en) 在IE或chrome浏览器中,当我尝试访问这个URL时,我会得到一个证书,我必须信任它并接受它才能继续,然后我必须输入用户名和密码,然后我会得到JSON响应。 同样的事情,我必须为一个android应用程序编程。 > 尝试使用自定义Easy