kafka日志+如何限制日志大小
partition/data只有15G，kafka日志文件夹是-/data/var/kafka/kafka-logs
data/var/kafka/kafka-logs下的大多数文件夹大小为4K-40K
但两个文件夹的大小非常大--5G-7G，这导致/数据是100%
12K 00000000000000000000.index
1.0G 00000000000000000000.log
16K 00000000000000000000.timeindex
12K 00000000000001419960.index
1.0G 00000000000001419960.log
16K 00000000000001419960.timeindex
12K 00000000000002840641.index
1.0G 00000000000002840641.log
16K 00000000000002840641.timeindex
12K 00000000000004260866.index
1.0G 00000000000004260866.log
16K 00000000000004260866.timeindex
12K 00000000000005681785.index
1.0G 00000000000005681785.log
共有1个答案
Kafka有许多用于限制日志大小的代理/主题配置。特别是：
log.retention.bytes:删除日志之前的最大大小log.retention.hours:删除日志文件之前保留日志文件的小时数
请注意，这些并不是硬性限制，因为删除发生在每个段中，如http://kafka.apache.org/documentation/#impl_deletes所述。这些也是每个主题。但是通过设置这些,您应该能够控制数据目录的大小。
-
我使用Spring JDBCTemplate来执行SQL查询。当日志级别< code > org . spring framework . JDBC . core . JDBC template 设置为< code>DEBUG时，每次触发查询时都会记录SQL语句。 问题是我有一些查询被触发了数百次。因此，应用程序日志充满了相同查询的重复日志，所有其他日志语句被完全淹没，使得日志难以理解。 有没有什
-
问题内容： 我正在使用Windows 7和python 2.7。我想将日志文件大小限制为5MB。我的应用程序启动后会写入日志文件，然后该应用程序终止。当我的应用再次启动时，它将写入同一日志文件。因此应用无法持续运行。应用程序启动，处理和终止。 我的记录代码是： 我尝试过 RotatingFileHandler， 但是没有用 那么，如何在python中实施文件大小限制？ 问题答案： 丢失并使用Rot
-
我试图限制一个Kafka主题的日志大小。 因为我已经将retention.bytes设置为1，所以我希望写给主题'Kafkatest1'的任何消息都将自动删除。但消息不断被附加。 是否需要任何额外的配置来实现这一点？
-
使用JVM标志 正在产生大量的日志记录，包括服务器上每个SSL事件的细节。有没有反正只有它日志错误？或者可能有一些更好的子集，这些标志产生更整洁的输出
-
问题内容： 最近，我的jenkins.log已经开始变得非常大，非常快，充满了有关DNS解析的异常。我尝试使用logrotate，但是日志文件增长得太快甚至无法旋转，并且吞噬了我所有的磁盘空间，这随后导致各种服务失败，因为它们无法再写入文件。 如何避免这种情况？ 问题答案： 您可以通过调整Jenkins中的日志记录设置来禁用这些DNS错误的日志记录。 从Jenkins Web界面转到： 添加以下条
-
我有一个flink作业，它使用logback作为日志框架，因为日志需要发送到logstash，logback有一个logstash appender（logstash logback appender）。appender工作正常，当flink作业从Eclipse这样的IDE运行时，我可以在logstash中看到应用程序日志。日志记录配置文件logback。xml放在src/main/resourc