OSX上的Java文件限制低于bash中的Java文件限制

Question

我增加了Macbook Pro的最大文件限制，以便Elasticsearch可以处理更多文件，但是不起作用。

我运行命令’ulimit -a’，它说“打开文件”是100,000。我可以运行一个简单的shell脚本，如下所示：

export counter=0
while (true) ; do touch "/tmp/foo${counter}" ; export counter=`expr $counter + 1` ; done

而且我能够创建很多文件（在杀死脚本之前已超过60,000）。

但是，使用Java代码在“ /
tmp”目录的空子目录中创建RandomAccessFiles，在得到错误之前，我只能制作10232个文件：java.io.FileNotFoundException（打开的文件太多）。这是我的Java代码：

import java.io.*;
import java.util.*;

public class max_open_files {
    public static void main(String ... args) throws Exception {
        File testDir = new File("/tmp/tempsubdir");
        testDir.mkdirs();

        List<File> files = new LinkedList<File>();
        List<RandomAccessFile> fileHandles = new LinkedList<RandomAccessFile>();

        try {
            while (true) {
                File f = new File(testDir, "tmp" + fileHandles.size());
                RandomAccessFile raf = new RandomAccessFile(f, "rw");
                files.add(f);
                fileHandles.add(raf);
            }
        } catch (Exception ex) {
            System.out.println(ex.getClass() + " " + ex.getMessage());
        }

        for (RandomAccessFile raf : fileHandles) raf.close()

        for (File f : files) f.delete();

        System.out.println("max open files: " + fileHandles.size());
    }
}

此Java代码类似于Elasticsearch中测试文件数量限制的代码（在maxOpenFiles方法的FileSystemUtils类中）。因此，Elasticsearch具有我的Java程序同样的问题。

为什么shell脚本可以生成比Java代码（mine和Elasticsearch的）更多的文件？为什么对Java文件无法识别的文件数量有较高的系统限制？

CDT
5月13日下午4:50更新：我创建了一个C版本的测试程序，以查看该限制是否特定于Java，并且看起来确实如此。下面的C版本可以打开32,765个文件，而Java代码限制为10,232个文件。

#include <stdio.h>
#include <stdlib.h>

int main(int argc, const char *argv) {
    char name[100];
    FILE *fp;
    int ndx;

    for (ndx = 0; ndx < 50000; ndx++) {
        sprintf(name, "/tmp/foo%d.txt", ndx);
        fp = fopen(name, "w");
        if (fp == NULL) {
            fprintf(stdout, "Can not create file %d\n", ndx);
            return 1;
        }
        fprintf(fp, "hello %d", ndx);
    }

    return 0;
}

Answer 1

适用于Mac的Java虚拟机选项参考

-XX：-MaxFDLimit

指示VM不要将文件描述符限制设置为默认最大值。默认行为是将限制设置为OPEN_MAX指定的值，即10240。通常，这是一个进程可能已打开的最大文件数。但是，可以使用sysctl实用程序将此限制增加到用户指定的值。在这种情况下，您可能希望传递-
XX：-MaxFDLimit来阻止Java VM将打开文件的数量限制为10240。