Base64数据的流解码

Question

我有一些大型的base64编码数据（存储在hadoop文件系统中的快照文件中）。该数据最初是压缩的文本数据。我需要能够读取此编码数据的大块，对其进行解码，然后将其刷新到GZIPOutputStream。

关于如何执行此操作而不是将整个base64数据加载到数组中并调用Base64.decodeBase64（byte []）的任何想法？

如果我读了直到’\ r \ n’分隔符并逐行解码的字符，对吗？例如：

for (int i = 0; i < byteData.length; i++) {
    if (byteData[i] == CARRIAGE_RETURN || byteData[i] == NEWLINE) {
       if (i < byteData.length - 1 && byteData[i + 1] == NEWLINE)
            i += 2;
       else 
            i += 1;

       byteBuffer.put(Base64.decodeBase64(record));

       byteCounter = 0;
       record = new byte[8192];
    } else {
        record[byteCounter++] = byteData[i];
    }
}

可悲的是，这种方法没有提供任何人类可读的输出。理想情况下，我想流式传输读取，解码和流式传输数据。

现在，我正在尝试放入输入流，然后复制到gzipout

byteBuffer.get(bufferBytes);

InputStream inputStream = new ByteArrayInputStream(bufferBytes);
inputStream = new GZIPInputStream(inputStream);
IOUtils.copy(inputStream , gzipOutputStream);

它给了我一个java.io.IOException：损坏的GZIP预告片

Answer 1

让我们一步一步走：

1. 您需要a GZIPInputStream来读取压缩的数据（而不是GZIPOutputStream；输出流用于压缩数据）。有了这个流，您将能够读取未压缩的原始二进制数据。这要求InputStream在构造函数中。

2. 您需要一个能够读取Base64编码数据的输入流。我建议Base64InputStream从apache-commons-codec派上用场。使用构造函数，您可以设置行长，行分隔符并设置doEncode=false为解码数据。这又需要另一个输入流-原始的Base64编码数据。

3. 该流取决于您如何获取数据。理想情况下，数据应该按已InputStream解决的方式提供。如果不是，则可能必须使用ByteArrayInputStream（如果为二进制），StringBufferInputStream（如果为字符串）等。

这种逻辑大致是：

InputStream fromHadoop = ...;                                  // 3rd paragraph
Base64InputStream b64is =                                      // 2nd paragraph
    new Base64InputStream(fromHadoop, false, 80, "\n".getBytes("UTF-8"));
GZIPInputStream zis = new GZIPInputStream(b64is);              // 1st paragraph

请注意Base64InputStream（行长和行尾字节数组）的参数，您可能需要对其进行调整。