Tomcat进程在交换空间用完后被Linux内核杀死；不获取任何JVM OutOfMemory错误

Question

我正在对tomcat服务器进行负载测试。服务器具有10G物理内存和2G交换空间。堆大小（xms和xmx）以前设置为3G，服务器工作正常。由于我仍然看到剩余的空闲内存很多，而且性能不好，所以我将堆大小增加到7G，并再次运行负载测试。这一次，我观察到物理内存很快就被耗尽了，系统开始消耗交换空间。后来，tomcat在交换空间用完后崩溃。启动tomcat时，我包括了-XX:HeapDumpOnOutOfMemoryError，但我没有得到任何堆转储。当我检查/var/log/messages时，我看到了内核：内存不足：杀死进程2259（java）得分634或牺牲子进程。

为了提供更多信息，以下是当堆大小设置为3G和7G时，我从Linuxtop命令中看到的内容

xms

>

启动tomcat之前：

Mem:  10129972k total,  1135388k used,  8994584k free,    19832k buffers
Swap:  2097144k total,        0k used,  2097144k free,    56008k cached

启动tomcat后：

Mem:  10129972k total,  3468208k used,  6661764k free,    21528k buffers
Swap:  2097144k total,        0k used,  2097144k free,   143428k cached
PID  USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
2257 tomcat    20   0 5991m 1.9g  19m S 352.9 19.2   3:09.64 java

启动负载10分钟后：

Mem:  10129972k total,  6354756k used,  3775216k free,    21960k buffers
Swap:  2097144k total,        0k used,  2097144k free,   144016k cached
PID  USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
2257 tomcat    20   0 6549m 3.3g  10m S 332.1 34.6  16:46.87 java

xms

>

启动tomcat之前：

Mem:  10129972k total,  1270348k used,  8859624k free,    98504k buffers
Swap:  2097144k total,        0k used,  2097144k free,    74656k cached

启动tomcat后：

Mem:  10129972k total,  6415932k used,  3714040k free,    98816k buffers
Swap:  2097144k total,        0k used,  2097144k free,   144008k cached
PID  USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
2310 tomcat    20   0  9.9g 3.5g  10m S  0.3 36.1   3:01.66 java

启动加载10分钟后（就在tomcat被杀之前）：

Mem:  10129972k total,  9960256k used,   169716k free,      164k buffers
Swap:  2097144k total,  2095056k used,     2088k free,     3284k cached
PID  USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
2310 tomcat    20   0 10.4g 5.3g  776 S  9.8 54.6  14:42.56 java

Java和JVM版本：

Java(TM) SE Runtime Environment (build 1.7.0_21-b11)
Java HotSpot(TM) 64-Bit Server VM (build 23.21-b01, mixed mode)

Tomcat版本：

6.0.36

Linux服务器：

Red Hat Enterprise Linux Server release 6.4 (Santiago)

所以我的问题是：

1. 为什么会出现这个问题？当JVM运行内存溢出时，为什么没有抛出OutOfMemoryError？为什么它直接使用交换？
2. 为什么topRES显示java使用的是5.3G内存，消耗的内存要多得多？

我已经调查和寻找了一段时间，仍然找不到这个问题的根本原因。非常感谢！




Answer 1

同一台计算机上可能有其他进程也使用内存。看起来你的java进程在机器极度耗尽内存和交换之前达到了5.3GB左右。（其他进程可能使用12GB-5.3GB=6.7GB）所以你的linux内核牺牲了你的java进程来保持其他进程的运行。java内存限制永远不会达到，所以你不会得到OutOfMemoryException。

考虑需要在整个机器上运行的所有进程，并相应地调整Xmx设置（足以为所有其他进程留出空间）。可能是5gb？

无论如何，计算正在传递的OutOfMemoryExceptions是一种非常糟糕的代码气味。如果我没记错的话，即使获得一个OutOfMemoryException也会使JVM处于“全部关闭”状态，并且可能应该重新启动以避免变得不稳定。

Answer 2

为什么会出现这个问题？当JVM内存不足时，为什么没有抛出OutOfMemoryException？

内存溢出的不是JVM，而是主机操作系统内存溢出相关的资源，并且正在采取激烈的行动。操作系统无法知道进程（在本例中是JVM）在响应更多内存请求时被告知“否”时能够有序关闭。它必须硬杀死某些东西，否则整个操作系统就有挂起的严重风险。

不管怎么说，你没有看到臭味的原因是这不是一个臭味的情况。实际上，操作系统已经给JVM提供了太多的内存，无法收回。这是操作系统必须通过硬杀死进程来解决的问题。

为什么它直接使用交换？

它使用swap，因为整个系统的总虚拟内存需求不适合物理内存。这是UNIX/Linux操作系统的正常行为。

为什么top RES显示java使用5.3G内存，消耗的内存要多得多

RES数字可能有点误导。它们指的是进程当前使用的物理内存量...不包括与其他进程共享或可共享的东西。VIRT数字与您的问题更相关。它说您的JVM正在使用10.4g的虚拟...这比您系统上可用的物理内存多。

正如另一个答案所说，你担心你没有得到一个OOME。即使你真的得到了一个，用它做任何事情都是不明智的。OOME可能会对你的应用程序/容器造成附带损害，这种损害很难检测到，也更难恢复。这就是为什么OOME是一个错误而不是一个异常。

建议：

>

不要试图使用比物理内存多得多的虚拟内存，尤其是Java。当JVM运行完整的垃圾收集时，它将以随机顺序多次接触其大部分VM页面。如果内存分配过多，则很容易导致抖动，从而降低整个系统的性能。

一定要增加系统的交换空间。（但这可能没有帮助……）

不要试图从臭气中恢复过来。