使用Java上载包含多部分/表单数据的zip文件时缺少字节

Question

我在将.zip文件上载到远程服务器时遇到了一个问题，因为上载后文件中丢失了一些字节。在重新下载文件时，.zip存档是不可打开的，这使我相信我需要这些字节来成功地执行上传。

我正在使用多部分/表单数据POST请求来上传文件。下面的代码中给出了我用于执行此操作的实用工具帮助器类：

import java.io.*;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.LinkedHashMap;
import java.util.List;

public class MultipartFormDataUtil {
    private final String boundary;
    private static final String lineReturn = "\r\n";
    private HttpURLConnection conn;
    private DataOutputStream dos;
    int bytesRead, bytesAvail, bufferSize;
    byte[] buffer;
    int maxBufferSize = 1*1024*1024;
    List<String> response;

    public MultipartFormDataUtil(String postUrl, LinkedHashMap<String, String> params, File file) throws IOException {
        boundary = "=-=" + System.currentTimeMillis() + "=-=";

        URL url = new URL(postUrl);
        conn = (HttpURLConnection) url.openConnection();
        conn.setDoInput(true);
        conn.setDoOutput(true);
        conn.setUseCaches(false);
        conn.setRequestMethod("POST");
        conn.setRequestProperty("Connection", "Keep-Alive");
        conn.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);
        dos = new DataOutputStream(conn.getOutputStream());

        for (String key : params.keySet()) {
            addFormPart(key, params.get(key));
        }

        addFilePart(file);

        finish();
    }

    private void addFormPart(String name, String value) throws IOException {
        dos.writeBytes("--" + boundary + lineReturn);
        dos.writeBytes("Content-Disposition: form-data; name=\"" + name + "\"" + lineReturn);
        dos.writeBytes("Content-Type: text/plain" + lineReturn + lineReturn);
        dos.writeBytes(value + lineReturn);
        dos.flush();
    }

    private void addFilePart(File file) throws IOException {
        FileInputStream fileInputStream = new FileInputStream(file);

        dos.writeBytes("--" + boundary + lineReturn);
        dos.writeBytes("Content-Disposition: form-data; name=\"file\"; filename=\"" + file.getName() + "\"" + lineReturn);
        dos.writeBytes("Content-Type: " + URLConnection.guessContentTypeFromName(file.getName()) + lineReturn);
        dos.writeBytes("Content-Transfer-Encoding: binary" + lineReturn + lineReturn);

        bytesAvail = fileInputStream.available();
        bufferSize = Math.min(bytesAvail, maxBufferSize);
        buffer = new byte[bufferSize];

        bytesRead = fileInputStream.read(buffer, 0, bufferSize);

        while (bytesRead > 0) {
            dos.write(buffer, 0, bufferSize);
            bytesAvail = fileInputStream.available();
            bufferSize = Math.min(bytesAvail, maxBufferSize);
            bytesRead = fileInputStream.read(buffer, 0, bufferSize);
        }
        dos.flush();

        dos.writeBytes(lineReturn);
        dos.flush();
        fileInputStream.close();
    }

    private void finish() throws IOException {
        response = new ArrayList<String>();

        dos.writeBytes("--" + boundary + "--" + lineReturn);
        dos.flush();
        dos.close();

        BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream()));
        String line;

        while ((line = reader.readLine()) != null) {
            response.add(line);
        }

        reader.close();
        conn.disconnect();
    }

    public List<String> getResponse() {
        return response;
    }

为了在需要信用的地方给予信用，这个实用程序基于Peter's Notes和Codejava.net中的示例。使用以下代码调用此util：

protected static void postFile(String url, LinkedHashMap<String, String> params, File file) throws Exception {
    try {
        MultipartFormDataUtil multipartRequest = new MultipartFormDataUtil(url, params, file);
        List<String> response = multipartRequest.getResponse();

        for (String line : response) {
            System.out.println(line);
        }

    } catch (IOException ioe) {
        log.warn("There was an error posting the file and form data", ioe);
    }
}

在本例中，上传url是给AmazonS3桶的，该桶将其传递给目标系统。正是在这个最终目的地，我可以看到应该在.zip文件上运行的进程失败了（注意：该进程由一个Rails应用程序运行，并给出错误“error Identification package Type：can't dup NilClass”）。下载文件时，我看到文件大小是3,110,416字节，而不是3,110,466字节。我再也无法提取存档来查看其中的内容；mac存档实用程序响应“错误2-没有这样的文件或目录”。

我缺乏这方面的概念性背景，无法对过程中可能出问题的地方有所感觉。我希望有人能告诉我，我在实用程序类中犯了一个错误，或者让我知道是别的问题。

谢谢你的任何见解，你可以提供，并让我知道，如果我可以张贴任何其他将会有帮助。

编辑：我收集到的关于不同大小文件上载的一些附加信息（以字节为单位）：

原始----------上载---------差异

10,167,389______10,167,238______151

3,110,466_____3,110,416_______50

156,885_________156,885__________0

95,639,352_____95,637,925_____1,427

对于上传后丢失字节的3个文件，每个文件丢失的总数据的百分比大约（但不完全）0.0015%，但彼此不相等。

Answer 1

经过进一步的研究，我们发现该错误与本问题中所示的multipart/form-data实用程序无关。取而代之的是，这与我们自己的文件下载客户端有关。我们没有将FileTransfer客户端设置为将文件下载为二进制文件，而二进制文件是.zip文件所必需的。

在Java，您可以随意使用问题中包含的代码来实现多部分/表单数据的目的--如果您的原始文件没有问题，它就会很好地工作。