Java-使用扫描仪分割分隔符上的大SQL文本文件（OutOfMemoryError）

Question

我正在尝试编写一个应用程序，它将占用一个非常大的sql文本文件~60GB（2.57亿行），并将每个COPY语句拆分为单独的文本文件。

但是，我目前使用的代码会导致OutOfMemoryError，因为行超过了扫描仪缓冲区限制。第一个语句将是4000万行。

public static void readFileByDelimeter(String fileName, String requestType, String output) throws FileNotFoundException {

//creating file instance
File file = new File(fileName);

//create scanner instance
Scanner scanner = new Scanner(file, "latin1");

//set custom delimeter
scanner.useDelimeter("COPY");

int number = 0;
System.out.println("Running......");
while (scanner.hasNext()){
    String line = scanner.next();
    if (line.length() > 20) {
        //save statements to seperate SQL files
        PrintWriter out = new PrintWriter("statement" + number + ".sql");
        out.println("COPY" + line.trim());
        out.close();
        }
        number++;
    }

System.out.println("Completed");
}

请提供建议，说明这是执行此操作的错误方法还是对现有方法的修改。

谢啦

Answer 1

试试这样（但更漂亮）：

Scanner sc = new Scanner(new BufferedReader(new FileReader(file)));

这用BufferedReader装饰了整个东西，这意味着不是所有的文件内容都会一次加载到内存中。您可以以同样的方式使用扫描仪。

Answer 2

我个人：我用BufferedReader代替Scanner。它还有一个方便的readLine（）方法，我从来没有遇到过任何性能问题。唯一的问题是，您需要手动检查行读取是否是您想要处理的行读取，但这通常与应用String类方法一样简单。

这不是你实际问题的答案，但我认为这是一个很好的易于使用的替代方案。

Answer 3

首先，为什么你正在创建或其他一些进程正在创建60GB文件！也许你需要看看这个过程来修复这个过程，以生成更小的sql文本文件，而不是创建一个新的过程。然而，如果这是你需要做的一次性的事情，那么这可能是好的，但是为了解决你的问题，如果你指出的是一个大文件，我会使用BufferedReader来读取和处理记录。

BufferedReader br = new BufferedReader(new FileReader(file));
String line;
while ((line = br.readLine()) != null) {
   // process the line. and write into your output file and close the file.
   }
br.close();