一段时间后，Kafka经纪人失败了

Question

我们的集群中有带有 Ambari GUI 的 Hadoop 集群版本 2.6.4，我们有 3 台 Kafka 机器，它们是独立的机器，而 3 台 Zookeper 服务器安装在其他机器上 - master01/02/03

其中一台Kafka机器出现了一个奇怪的问题，而其他Kafka设备没有这个问题

问题是，当我们在几分钟后启动Kafka经纪人时，它会崩溃

以下是日志：

出自Kafka.呃

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "ThrottledRequestReaper-Fetch"

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "ExpirationReaper-1002"

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "kafka-network-thread-1002-PLAINTEXT-2"
Exception in thread "ExpirationReaper-1002" Exception in thread "ExpirationReaper-1002" java.lang.OutOfMemoryError: Java heap space
java.lang.OutOfMemoryError: Java heap space

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "ExpirationReaper-1002"
Exception in thread "metrics-meter-tick-thread-2" java.lang.OutOfMemoryError: Java heap space
Exception in thread "metrics-meter-tick-thread-3" java.lang.OutOfMemoryError: Java heap space
Exception in thread "metrics-meter-tick-thread-4" java.lang.OutOfMemoryError: Java heap space
Exception in thread "metrics-meter-tick-thread-5" java.lang.OutOfMemoryError: Java heap space

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "main-SendThread(master02.sys87.com:2181)"
Exception in thread "metrics-meter-tick-thread-6" java.lang.OutOfMemoryError: Java heap space
Exception in thread "metrics-meter-tick-thread-1" java.lang.OutOfMemoryError: Java heap space
Exception in thread "metrics-meter-tick-thread-7" java.lang.OutOfMemoryError: Java heap space
Exception in thread "metrics-meter-tick-thread-9" java.lang.OutOfMemoryError: Java heap space
Exception in thread "metrics-meter-tick-thread-10" java.lang.OutOfMemoryError: Java heap space
Exception in thread "metrics-meter-tick-thread-11" java.lang.OutOfMemoryError: Java heap space
Exception in thread "metrics-meter-tick-thread-1" java.lang.OutOfMemoryError: Java heap space

从日志的读取来看，这看起来像是kafka机器上的“分配的堆空间”

对此有什么建议和解决办法吗？

第二

我们如何解释这个问题在一台Kafka机器上，而另两台我们没有这个问题？这合乎逻辑吗？

Answer 1

您有一个OutOfMemoryError，这意味着在某个时候Kafka实例需要分配更多的内存，发现要么没有可用的物理内存，要么它达到了JVM中设置的限制(注意Kafka是用Java/Scala编写的，所以在JVM中运行)选项，调用垃圾收集器来释放一些内存，但无法用它释放足够的内存。

为什么它会发生？有多种可能的原因。

>

Kafka代码中的一个错误，阻止释放未使用的内存

当前机器无法处理的大量负载

使用或配置不当。例如，您设置了一个流，连接到它，但不读取。或者读得太慢。积压不断增加，直到填满您的整个内存

Kafka实例的内存允许量过于严格。要让它在bash中运行更多内存，请导出KAFKA_HEAP_OPTS="-Xmx1G-Xms1G"（尝试查找工作值）。更多详细信息：https://stackoverflow.com/a/36649296/78569

JVM选项和cgroup配置之间的冲突。例如，您在cgoups（memory.limit_in_bytes）中设置-Xmx2G但仅设置1G。

不正确地使用/配置docker(它使用使用cgroups的lxc)或其他虚拟化/容器化工具。我听说在JVM选项和cgroups限制之间存在一些误解，这种误解只在Java的beta版中得到解决。

这不是一个完整的列表，而是一个探索问题所在的开始。

EDIT
如果您在代理的配置和行为中没有看到明显的缺陷，您可以在崩溃时分析进程转储以查看所有内存的去向。为此，请将-XX： HeapDunpOnOutOfMemoryError-XX： HeapDunpPath=…添加到JVM选项中。然后您可以将此转储加载到诸如HeapWalker之类的分析器中，并查找异常大的对象数量/大小。