如何确定批量引入项目的堆大小的 Xmx

Question

我正在使用REST APIs和Spring Boot为Alfresco做一个大约500万个文档(每个大小在200KB-3MB之间)的批量摄取项目。我的fat jar将在开发和测试环境中这样运行，没有任何问题:

 java -Xms64m -Xmx1G -jar MyApplication.jar --spring.config.location=file:///Users/home/config/jdbc.properties

对于生产环境，服务器有16GB可用内存。给定每个文档的大小(200KB - 3MB)和它们的大小-500万，我如何决定最小和最大堆大小？我的意思是,“合理的”最小最大堆大小应该是多少？

java -Xms?? -Xmx?? -jar MyApplication.jar --spring.config.location=file:///Users/home/config/jdbc.properties

模糊的问题：如果我使用-Xms64m-Xmx1G，这是否意味着在峰值时间（当jvm完全启动时），我的jvm在任何给定时间都不会处理批量大小超过1GB的文档？或者简单地说，在这种情况下，1GB将在何处燃烧？或者JVM将如何利用这个1GB？

这方面的任何相关信息/链接将不胜感激。

更新：

按照毗湿奴的评论，我找到了这些(还在努力理解):https://alvinalexander . com/blog/post/Java/Java-xmx-xms-memory-heap-size-control/https://www.baeldung.com/jvm-configure-stack-sizes https://alvinalexander . com/Java/Java-stack-heap-definitions-memory/

然后我试了几个ss参数，如下所示:

java -Xss1k -jar MyApplication.jar

结果：

The Java thread stack size specified is too small. Specify at least 136k
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

当我尝试这个：

java -Xss136k -jar MyApplication.jar

我明白了。

Exception in thread "main" java.lang.StackOverflowError
    at org.springframework.boot.loader.data.RandomAccessDataFile$FileAccess.access$400(RandomAccessDataFile.java:205)
    at org.springframework.boot.loader.data.RandomAccessDataFile.read(RandomAccessDataFile.java:117)
    at org.springframework.boot.loader.data.RandomAccessDataFile.read(RandomAccessDataFile.java:102)
    at org.springframework.boot.loader.jar.CentralDirectoryFileHeader.load(CentralDirectoryFileHeader.java:82)
    at org.springframework.boot.loader.jar.CentralDirectoryFileHeader.fromRandomAccessData(CentralDirectoryFileHeader.java:183)
    at org.springframework.boot.loader.jar.JarFileEntries.getEntry(JarFileEntries.java:321)
    at org.springframework.boot.loader.jar.JarFileEntries.getEntry(JarFileEntries.java:307)
    at org.springframework.boot.loader.jar.JarFileEntries.doGetEntry(JarFileEntries.java:295)
    at org.springframework.boot.loader.jar.JarFileEntries.getEntry(JarFileEntries.java:250)
    at org.springframework.boot.loader.jar.JarFileEntries.containsEntry(JarFileEntries.java:206)
    at org.springframework.boot.loader.jar.JarFile.containsEntry(JarFile.java:240)
    at org.springframework.boot.loader.jar.JarURLConnection.get(JarURLConnection.java:263)
    at org.springframework.boot.loader.jar.Handler.openConnection(Handler.java:83)
    at java.base/java.net.URL.openConnection(URL.java:1074)
    at java.base/jdk.internal.loader.URLClassPath$Loader.getResource(URLClassPath.java:643)
    at java.base/jdk.internal.loader.URLClassPath.getResource(URLClassPath.java:314)
    at java.base/java.net.URLClassLoader$1.run(URLClassLoader.java:455)
    at java.base/java.net.URLClassLoader$1.run(URLClassLoader.java:452)
    at java.base/java.security.AccessController.doPrivileged(Native Method)
    at java.base/java.net.URLClassLoader.findClass(URLClassLoader.java:451)
    at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:589)
    at org.springframework.boot.loader.LaunchedURLClassLoader.loadClass(LaunchedURLClassLoader.java:151)
    at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:522)
    at java.base/java.lang.ClassLoader.defineClass1(Native Method)
    at java.base/java.lang.ClassLoader.defineClass(ClassLoader.java:1017)
    at java.base/java.security.SecureClassLoader.defineClass(SecureClassLoader.java:174)
    at java.base/java.net.URLClassLoader.defineClass(URLClassLoader.java:550)
    at java.base/java.net.URLClassLoader$1.run(URLClassLoader.java:458)
    at java.base/java.net.URLClassLoader$1.run(URLClassLoader.java:452)
    at java.base/java.security.AccessController.doPrivileged(Native Method)
    at java.base/java.net.URLClassLoader.findClass(URLClassLoader.java:451)
    at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:589)
    at org.springframework.boot.loader.LaunchedURLClassLoader.loadClass(LaunchedURLClassLoader.java:151)
    at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:522)
    at java.base/java.lang.ClassLoader.defineClass1(Native Method)
    at java.base/java.lang.ClassLoader.defineClass(ClassLoader.java:1017)
    at java.base/java.security.SecureClassLoader.defineClass(SecureClassLoader.java:174)
    at java.base/java.net.URLClassLoader.defineClass(URLClassLoader.java:550)
    at java.base/java.net.URLClassLoader$1.run(URLClassLoader.java:458)
    at java.base/java.net.URLClassLoader$1.run(URLClassLoader.java:452)
    at java.base/java.security.AccessController.doPrivileged(Native Method)
    at java.base/java.net.URLClassLoader.findClass(URLClassLoader.java:451)
    at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:589)
    at org.springframework.boot.loader.LaunchedURLClassLoader.loadClass(LaunchedURLClassLoader.java:151)
    at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:522)
    at java.base/java.lang.Class.getDeclaredMethods0(Native Method)
    at java.base/java.lang.Class.privateGetDeclaredMethods(Class.java:3166)
    at java.base/java.lang.Class.getDeclaredMethod(Class.java:2473)
    at org.springframework.boot.loader.MainMethodRunner.run(MainMethodRunner.java:47)
    at org.springframework.boot.loader.Launcher.launch(Launcher.java:107)
    at org.springframework.boot.loader.Launcher.launch(Launcher.java:58)
    at org.springframework.boot.loader.JarLauncher.main(JarLauncher.java:88)

它导致上述SOF误差从136-240k，但工作

我知道毗湿奴的评论，这个错误试图表明我脑海中正在发生的事情。什么？我能在这里得到一个简单的（更简单或最简单的会更好:P）答案吗？

我再次尝试为我的应用程序的jar获得一个“合理”或“最佳”的堆大小。

非常感谢提前阅读这么长的信息和您的帮助。

Answer 1

1mb的-Xss值可以使用。当你启动你的应用程序时，包括下面的命令，这将有助于减少你的堆大小。

-XX:+UseConcMarkSweepGC

由于您的主机的最大值为16GB，因此您可以将最大堆大小设置为4Gb，如果需要，这仍然会为您提供一些在峰值期间扩展的空间。

Answer 2

您需要首先决定可以并行运行多少个线程，使用-Xss param分配线程堆栈内存。我想在64位的1.8版本中，每个线程的默认内存是1Mb。

尝试在Java选项中使用并发GC，这将有助于减少堆。