用java编写和附加大文件的最佳方式是什么

Question

我有一个java程序，它向Web服务发送一系列GET请求，并将响应体存储为文本文件。

我已经实现了下面的示例代码（过滤了大部分代码以突出显示相关内容），它附加了文本文件，并在EOF处作为新行写入。然而，代码工作得很好，但随着文件的大小变大，性能会受到影响。

数据的总大小几乎为4GB，并在avg上附加大约500KB到1MB的数据。

do
{
    //send the GET request & fetch data as string
    String resultData = HTTP.GET <uri>;

    // buffered writer to create a file 
    BufferedWriter writer = new BufferedWriter(new FileWriter(path, true));

    //write or append the file
    writer.write(resultData + "\n");
}
while(resultData.exists());

这些文件每天都会创建，并移动到hdfs以供hadoop使用，并作为实时存档。有没有更好的方法来实现这一点？

Answer 1

根据这个答案，FileWriter和BufferedWriter之间的Java差异——您现在所做的是低效的。

您提供的代码不完整。括号缺失，作者没有close语句。但是，如果我对每个resultData都理解正确，就可以打开一个新的缓冲写入程序，并调用write一次。这意味着您应该直接使用FileWriter，因为这样做，缓冲区只是一种开销。

如果您希望它在循环中获取数据并将其写入单个文件，那么您应该执行以下操作

try( BufferedWriter writer = new BufferedWriter(new FileWriter("PATH_HERE", true)) ) {
    String resultData = "";

    do {
        //send the GET request & fetch data as string
        resultData = HTTP.GET <uri>;

        //write or append the file
        writer.write(resultData + "\n");

    } while(resultData != null && !resultData.isEmpty());

} catch(Exception e) {
    e.printStackTrace();
}

上面使用的是try with资源，它将在退出try块后关闭writer。这在Java7中可用。

Answer 2

1） 每次打开一个新的writer，而不关闭以前的writer对象。

2）不要每次写操作都打开文件，而是在循环前打开，循环后关闭。

BufferedWriter writer = new BufferedWriter(new FileWriter(path, true));
do{
          String resultData = HTTP.GET <uri>;
          writer.write(resultData + "\n");
}while(resultData.exists());
writer.close();

3）默认缓冲大小的BufferedWriter是8192个字符，因为你有4 GB的数据，我会增加缓冲区大小，以提高性能，但同时确保你的JVM有足够的内存来保存数据。

BufferedWriter writer = new BufferedWriter(new FileWriter(path, true), 8192 * 4);
do{
          String resultData = HTTP.GET <uri>;
          writer.write(resultData + "\n");
}while(resultData.exists());
writer.close();

4）由于您正在进行GET Web服务调用，性能也取决于webservice的响应时间。