将文件编码为base64时内存不足

Question

从Apache Commons使用Base64

public byte[] encode(File file) throws FileNotFoundException, IOException {
        byte[] encoded;
        try (FileInputStream fin = new FileInputStream(file)) {
            byte fileContent[] = new byte[(int) file.length()];
            fin.read(fileContent);
            encoded = Base64.encodeBase64(fileContent);
        }
        return encoded;   
}


Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
    at org.apache.commons.codec.binary.BaseNCodec.encode(BaseNCodec.java:342)
    at org.apache.commons.codec.binary.Base64.encodeBase64(Base64.java:657)
    at org.apache.commons.codec.binary.Base64.encodeBase64(Base64.java:622)
    at org.apache.commons.codec.binary.Base64.encodeBase64(Base64.java:604)

我正在为移动设备制作小型应用程序。

Answer 1

您不能像下面这样将整个文件加载到内存中：

byte fileContent[] = new byte[(int) file.length()];
fin.read(fileContent);

而是逐块加载文件并对其进行部分编码。Base64是一种简单的编码，一次加载3个字节并对其进行编码就足够了（编码后将产生4个字节）。出于性能原因，请考虑加载3字节的倍数，例如3000字节-
应该很好。还可以考虑缓冲输入文件。

一个例子：

byte fileContent[] = new byte[3000];
try (FileInputStream fin = new FileInputStream(file)) {
    while(fin.read(fileContent) >= 0) {
         Base64.encodeBase64(fileContent);
    }
}

请注意，您不能简单地将结果附加Base64.encodeBase64()到encodedbbyte数组。实际上，它没有加载文件，而是将其编码为Base64，从而导致内存不足的问题。这是可以理解的，因为Base64版本更大（并且您已经有一个占用大量内存的文件）。

考虑将您的方法更改为：

public void encode(File file, OutputStream base64OutputStream)

并将Base64编码的数据直接发送到base64OutputStream而不是将其返回。

更新：感谢 @StephenC， 我开发了更简单的版本：

public void encode(File file, OutputStream base64OutputStream) {
  InputStream is = new FileInputStream(file);
  OutputStream out = new Base64OutputStream(base64OutputStream)
  IOUtils.copy(is, out);
  is.close();
  out.close();
}

它使用Base64OutputStream它将输入 实时
转换为Base64
以及IOUtils来自Apache
Commons IO的类。

注意：如果需要，您必须关闭FileInputStream和Base64OutputStream显式打印=，但是缓冲由处理IOUtils.copy()。