java ioexception错误=24打开了太多文件

Question

我正在编写一个需要读取/写入大量文件的遗传算法。GA的适用性测试是调用一个名为gradif的程序，该程序将文件作为输入并生成文件作为输出。

一切都在工作，除非我使遗传算法的种群规模和/或总代数太大。然后，经过这么多代人，我开始得到这个：java.io.FileNotFoundException：testfiles/GradifOut29（太多打开的文件）。（我为许多不同的文件反复得到它，索引 29 只是我上次运行它时首先出现的那个）。这很奇怪，因为我不是在第一代或第二代之后得到错误，而是在相当多的世代之后，这表明每一代都会打开更多它没有关闭的文件。但据我所知，我正在关闭所有文件。

代码的设置方式是< code>main()函数位于< code>Population类中，而< code>Population类包含一个< code >个体数组。这是我的代码:

输入文件的初始创建（它们是随机访问的，因此我可以跨多代重用同一个文件）

files = new RandomAccessFile[popSize];

for(int i=0; i<popSize; i++){
    files[i] = new RandomAccessFile("testfiles/GradifIn"+i, "rw");
}

在整个程序结束时：

for(int i=0; i<individuals.length; i++){
    files[i].close();
}

在个人的适应度测试中：

FileInputStream fin = new FileInputStream("testfiles/GradifIn"+index);
FileOutputStream fout = new FileOutputStream("testfiles/GradifOut"+index);
Process process = Runtime.getRuntime().exec ("./gradif");
OutputStream stdin = process.getOutputStream();
InputStream stdout = process.getInputStream();

然后，后来....

try{
      fin.close();
  fout.close();
  stdin.close();
  stdout.close();
      process.getErrorStream().close();
}catch (IOException ioe){
    ioe.printStackTrace();
}

然后，之后，我在文件后面添加一个“end ”,以便于解析它们。

FileWriter writer = new FileWriter("testfiles/GradifOut"+index, true);
writer.write("END");
try{
   writer.close();
}catch(IOException ioe){
   ioe.printStackTrace();
}

我对gradif的stdin和stdout的重定向来自这个答案。我尝试使用try{封闭（）}抓住{}语法来查看关闭任何文件是否有问题（没有），我从这个答案中得到了这个答案。

还应该注意的是，个人的体能测试同时进行。

更新：我实际上已经能够将其缩小到exec（）调用。在我最近的一次跑步中，我第一次遇到麻烦是在733代（人口规模为100人）。为什么前几代人还好？我不明白为什么，如果没有泄漏，算法应该能够通过前几代，但在后几代失败。如果有泄漏，那么它从哪里来？

更新2：在试图弄清楚这里发生了什么时，我希望能够看到（最好是实时）JVM在任何给定点打开了多少文件。有没有简单的方法可以做到这一点？

Answer 1

您似乎在linux（或某些类似unix的操作系统）上运行。您可以使用“lsof”命令之类的东西来确定您的应用程序在收到错误时打开了哪些文件。

Answer 2

尝试关闭错误流:

process.getErrorStream().close();

编辑:事实上你也应该读一下，因为错误流的缓冲区满了会阻塞子进程。

在这里看一个StreamGobbler实现:需要样本Java代码来运行shellscript

编辑2：是否有人口规模（足够小），无论世代计算，您都不会遇到问题？如果是这种情况，您可能不再泄漏打开的文件/流。

在这种情况下，您有两种解决方案：

• 要么重写算法以不同时打开所有填充文件
• 或者增加允许打开的文件的最大数量。看看这里有什么方法

Answer 3

也许把你所有的行为都放在循环中是个好主意：

while(selection_ of_file.hasNext()){
File are new randomFile
open inputFile
open outPufile
read from inputFile
write to outputFile
close inputFile
close outputFile
}