在kafka中限制特定主题的日志大小
我试图限制一个Kafka主题的日志大小。
因为我已经将retention.bytes设置为1，所以我希望写给主题'Kafkatest1'的任何消息都将自动删除。但消息不断被附加。
是否需要任何额外的配置来实现这一点？
共有1个答案
请检查您的log.segment.bytes（默认值为1073741824字节）。据我所知，当一个日志段滚动时，保留会被考虑在内。
你能解释一下你想要达到什么目标吗？为什么要发消息删除它？
-
partition/data只有15G，kafka日志文件夹是-/data/var/kafka/kafka-logs data/var/kafka/kafka-logs下的大多数文件夹大小为4K-40K 但两个文件夹的大小非常大--5G-7G，这导致/数据是100%
-
问题内容： 我正在使用Windows 7和python 2.7。我想将日志文件大小限制为5MB。我的应用程序启动后会写入日志文件，然后该应用程序终止。当我的应用再次启动时，它将写入同一日志文件。因此应用无法持续运行。应用程序启动，处理和终止。 我的记录代码是： 我尝试过 RotatingFileHandler， 但是没有用 那么，如何在python中实施文件大小限制？ 问题答案： 丢失并使用Rot
-
我正在将日志消息写入Kafka Topic，我希望此主题的保留是永久的。我在Kafka和Kafka Connect（_schemas、连接-配置、连接-状态、连接-偏移等）中看到，有一些特殊主题不会因日志保留时间而删除。如何强制一个主题像这些其他特殊主题一样？是命名约定还是其他属性？ 谢啦
-
我在一个输入主题上构建KTable，并且在两个Kafka Stream应用程序实例上加入KStream。 KTable的输入主题已经是一个日志压缩主题。因此，当我的一个应用程序实例关闭时，通过读取input log compacted主题，另一个实例状态存储似乎会用整个状态刷新。 所以不需要为我的KTable存储启用日志记录（更改日志）？ 我的源输入日志压缩主题可能有数百万条记录，所以如果我在KT
-
我使用Spring JDBCTemplate来执行SQL查询。当日志级别< code > org . spring framework . JDBC . core . JDBC template 设置为< code>DEBUG时，每次触发查询时都会记录SQL语句。 问题是我有一些查询被触发了数百次。因此，应用程序日志充满了相同查询的重复日志，所有其他日志语句被完全淹没，使得日志难以理解。 有没有什
-
我有这样的拓扑： 拓扑中最后提到的源是每个应用程序实例的特定主题。我希望该主题仅由该实例处理。此主题的数据由前一个处理器推送，基于哪个实例必须处理该消息。 但是一旦流启动，它会尝试将实例特定的主题分区也分配给其他实例。我们可以在Kafka流中实现这个要求吗？ 我希望一个主题仅由特定实例处理。