java-OutOfMemoryError在读取一个巨大的csv文件时

Question

我想用Java读取一个巨大的csv文件。它包括75,000,000条线路。问题是，即使我使用的是最大xms和xmx限制，但我得到的是:`java.lang.OutOfMemoryError（GC开销限制已超过），它显示这一行导致错误：

String[][] matrix = new String[counterRow][counterCol];

我做了一些测试，看到我能很好地阅读15，000，000行。因此我开始使用这种代码：

String csvFile = "myfile.csv";
List<String[]> rowList = new ArrayList();
String line = "";
String cvsSplitBy = ",";
BufferedReader br = null;
try {
    int counterRow = 0, counterCol = 12, id = 0;
    br = new BufferedReader(new FileReader(csvFile));
    while ((line = br.readLine()) != null) { 
        String[] object = line.split(cvsSplitBy);
        rowList.add(object); 
        counterRow++;
        if (counterRow % 15000000 ==0) {
            String[][] matrix = new String[counterRow][counterCol];
            .. do processes ..
            SaveAsCSV(matrix,id);
            counterRow=0; id++; rowList.clear();
        }
    }
}
...

这里，它很好地写出了第一个15,000,000行，但是在第二个试验中，这再次给出了相同的错误，尽管counterRow是15,000,000行。

总之，我需要读取一个包含75,000,000行（约5 GB）的CSV文件，并在对其记录进行一些处理后保存一个或多个新的CSV文件。

我该如何解决这个问题呢？

谢谢

编辑：我也在使用rowlist.clear（）伙计们，这里忘记指定了。对不起。

Answer 1

您可以单独读取行，然后进行处理，直到读取了整个文件

String encoding = "UTF-8";
BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream("/bigfile.txt"), encoding));
String line;
while ((line = br.readLine()) != null) {
   // process the line.
}
br.close();

这不应该继续下去，只需确保您立即处理它，并且不要将它存储在循环之外的变量中