Linux下Java的虚拟内存使用率，使用的内存过多

Question

我在Linux下运行的Java应用程序有问题。

当启动应用程序时，使用默认的最大堆大小（64 MB），我看到使用tops应用程序为该应用程序分配了240 MB的虚拟内存。这会给计算机上的某些其他软件带来一些问题，这是相对有限的资源。

据我了解，保留的虚拟内存无论如何都不会使用，因为一旦达到堆限制，OutOfMemoryError就会抛出。我在Windows下运行了相同的应用程序，并且看到虚拟内存大小和堆大小相似。

无论如何，我可以配置Linux下用于Java进程的虚拟内存吗？

编辑1：问题不是堆。问题是，例如，如果我将堆设置为128 MB，Linux仍会分配210 MB的虚拟内存，这是永远不需要的。**

编辑2：使用ulimit -v允许限制虚拟内存量。如果设置的大小小于204 MB，则即使它不需要204 MB（仅64 MB）也不会运行。因此，我想了解为什么Java需要这么多虚拟内存。可以更改吗？

编辑3：系统中还运行着其他一些嵌入式应用程序。而且系统确实有虚拟内存限制（根据注释和重要细节）。

Answer 1

这是Java长期以来的抱怨，但在很大程度上没有意义，并且通常基于查看错误的信息。通常的措辞类似于“ Java上的Hello World占用10兆字节！为什么需要它？”。好吧，这是一种使Hello World在64位JVM上声称占据4 GB以上的方法…至少通过一种测量形式即可。

java -Xms1024m -Xmx4096m com.example.Hello

测量内存的不同方法
在Linux上，top命令为您提供了几个不同的内存号。关于“ Hello World”示例的内容如下：

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
2120 kgregory  20   0 4373m  15m 7152 S    0  0.2   0:00.10 java

• VIRT是虚拟内存空间：虚拟内存映射中所有内容的总和（请参见下文）。它在很大程度上没有意义，除非不是这样（请参阅下文）。
• RES是常驻集大小：RAM中当前常驻的页面数。在几乎所有情况下，这都是您说“太大”时应使用的唯一数字。但这并不是一个很好的数字，尤其是在谈论Java时。
• SHR是与其他进程共享的驻留内存量。对于Java进程，这通常限于共享库和内存映射的JARfile。在此示例中，我只运行了一个Java进程，因此我怀疑7k是操作系统使用的库的结果。
• 默认情况下，SWAP未启用，此处未显示。它指示当前驻留在磁盘上的虚拟内存量，无论它实际上是否在交换空间中。该操作系统非常适合在RAM中保留活动页面，并且唯一的交换方法是（1）购买更多的内存，或者（2）减少进程数，因此最好忽略此数目。
  Windows Task Manager的情况要复杂一些。在Windows XP中，有“内存使用情况”和“虚拟内存大小”列，但是官方文档没有说明它们的含义。Windows Vista和Windows 7添加了更多列，并且它们实际上已在文档中进行了记录。其中，“工作集”度量是最有用的。它大致相当于Linux上RES和SHR的总和。
  

了解虚拟内存映射
进程消耗的虚拟内存是进程内存映射中所有内容的总和。这包括数据（例如Java堆），还包括程序使用的所有共享库和内存映射文件。在Linux上，您可以使用pmap命令查看映射到进程空间中的所有内容（从现在开始，我将仅指Linux，因为这是我使用的；我确定有相同的工具可用于视窗）。这是“ Hello World”程序的内存映射的摘录；整个内存映射超过100行，拥有一千行列表并不稀奇。

0000000040000000 36K rx-/usr/local/java/jdk-1.6-x64/bin/java
0000000040108000 8K rwx-/usr/local/java/jdk-1.6-x64/bin/java
0000000040eba000 676K rwx-- [anon]
00000006fae00000 21248K rwx-- [anon]
00000006fc2c0000 62720K rwx-- [anon]
0000000700000000 699072K rwx-- [anon]
000000072aab0000 2097152K rwx-- [anon]
00000007aaab0000 349504K rwx-- [anon]
00000007c0000000 1048576K rwx-- [anon]
...
00007fa1ed00d000 1652K r-xs- /usr/local/java/jdk-1.6-x64/jre/lib/rt.jar
...
00007fa1ed1d3000 1024K rwx-- [anon]
00007fa1ed2d3000 4K ----- [anon]
00007fa1ed2d4000 1024K rwx-- [anon]
00007fa1ed3d4000 4K ----- [anon]
...
00007fa1f20d3000 164K rx-/usr/local/java/jdk-1.6-x64/jre/lib/amd64/libjava.so
00007fa1f20fc000 1020K ----- /usr/local/java/jdk-1.6-x64/jre/lib/amd64/libjava.so
00007fa1f21fb000 28K rwx-/usr/local/java/jdk-1.6-x64/jre/lib/amd64/libjava.so
...
00007fa1f34aa000 1576K rx-- /lib/x86_64-linux-gnu/libc-2.13.so
00007fa1f3634000 2044K ----- /lib/x86_64-linux-gnu/libc-2.13.so
00007fa1f3833000 16K rx-- /lib/x86_64-linux-gnu/libc-2.13.so
00007fa1f3837000 4K rwx-- /lib/x86_64-linux-gnu/libc-2.13.so
...

格式的简要说明：每行均以段的虚拟内存地址开头。其次是段的大小，权限和段的来源。最后一项是文件或“ anon”，表示通过mmap分配的内存块。

从顶部开始，我们有

• JVM加载程序（即，键入时运行的程序java）。这很小。它所做的全部工作就是将其加载到存储实际JVM代码的共享库中。
• 一堆存储Java堆和内部数据的匿名块。这是一个Sun JVM，因此堆分为多个世代，每个世代都是其自己的内存块。请注意，JVM根据该-Xmx值分配虚拟内存空间。这使其具有连续的堆。该-Xms值在内部用于表示程序启动时“正在使用”多少堆内存，并在达到该限制时触发垃圾回收。
• 内存映射的JAR文件，在这种情况下为包含“ JDK类”的文件。对JAR进行内存映射时，可以非常有效地访问其中的文件（与每次从头开始读取相比）。Sun JVM将在类路径上对所有JAR进行内存映射。如果您的应用程序代码需要访问JAR，则还可以对其进行内存映射。
• 两个线程的每线程数据。1M块是线程堆栈；我不知道4K块中的内容。对于真正的应用程序，您会在内存映射中看到数十个（如果不是数百个）重复的条目。
• 共享库之一，其中包含实际的JVM代码。其中有几个。
• C标准库的共享库。这只是JVM加载的很多事情之一，而Java严格来说，这并不是。

共享库特别有趣：每个共享库至少有两个部分：一个包含该库代码的只读段，一个包含该库的全局每个进程数据的读写段（我不知道没有权限的段是；我只在x64 Linux上看到它）。可以在使用该库的所有进程之间共享该库的只读部分。例如，libc具有1.5M的虚拟内存空间可以共享。

虚拟内存大小何时重要？
虚拟内存映射包含很多东西。其中有些是只读的，有些是共享的，有些是已分配但从未被使用过（例如，本例中几乎所有4Gb的堆）。但是操作系统足够聪明，只能加载所需的内容，因此虚拟内存大小基本上无关紧要。

如果您在32位操作系统上运行，则虚拟内存大小至关重要的地方只能分配2Gb（或在某些情况下为3Gb）进程地址空间。在那种情况下，您要处理的是稀缺资源，因此可能必须权衡取舍，例如减小堆大小以对大型文件进行内存映射或创建许多线程。

但是，鉴于64位计算机无处不在，我认为不久之后虚拟内存大小才是一个完全不相关的统计数据。

居民集合大小什么时候重要？
驻留集大小是虚拟内存空间中实际位于RAM中的那部分。如果您的RSS增长到了总物理内存的很大一部分，那么可能是时候开始担心了。如果您的RSS逐渐增长，占用了您的所有物理内存，并且您的系统开始交换，那么现在就开始担心。

但是RSS也会产生误导，尤其是在轻载的计算机上。操作系统并不需要花费很多精力来回收进程使用的页面。这样做几乎没有好处，如果将来该过程触及页面，则可能会产生昂贵的页面错误。结果，RSS统计信息可能包含许多未在使用中的页面。

底线
除非您要交换，否则不要过分担心各种内存统计信息会告诉您什么。需要注意的是，不断增长的RSS可能表示某种内存泄漏。

对于Java程序，关注堆中正在发生的事情变得更加重要。消耗的空间总量很重要，您可以采取一些步骤来减少空间消耗。更重要的是您花费在垃圾收集上的时间，以及要收集堆的哪些部分。

访问磁盘（即数据库）非常昂贵，而内存则很便宜。如果您可以互相交易，那就这样做。