从运行Java Jersey Rest API的HTTP服务器传输大文件

Question

我正在使用JavaJDK 1.7和泽西岛网络服务框架编写一个网络服务。我需要提供的一件事是允许经过身份验证的客户端下载某些大数据文件（1-3 GB）的方法。理想情况下，我希望这是一个暂停和恢复类型的可下载选项。我尝试了泽西岛多部分API，并能够让它在我的客户端机器上工作到400 MB，但在那之后它遇到了内存不足的问题。我还担心服务器在面临同时下载请求时可能会失败。关于如何做到这一点有什么想法吗？Netty是一个选择吗？关于如何将Netty集成到现有的基于泽西的Web服务中的任何指针？是否有其他框架作品可以帮助完成这一点？我确实必须使用java进行Web服务。任何指针都会有帮助。

Answer 1

服务器和客户端都必须支持HTTP分块编码，这允许使用HTTP传输数据流。下面的代码应该适用于Jersey 2.11。

要下载大文件，请在服务器上尝试以下操作：

@GET
@Path("/files/{fileName}")
@Produces(MediaType.APPLICATION_OCTET_STREAM)

public StreamingOutput getFile(@PathParam("fileName") final String fileName)  throws Exception  {
  //create instance of StreamingOutput here
  return streamingOutput;
}

尝试使用steams下载文件的客户端GET请求。

public String getFileReq(File outFile) throws IOException {

  client = ClientBuilder.newClient(new ClientConfig());
  client.property(ClientProperties.REQUEST_ENTITY_PROCESSING, "CHUNKED");
  WebTarget target = client.target(URI)
  OutputStream fileOutputStream = new FileOutputStream(outFile);
  InputStream fileInputStream = target.request().get(InputStream.class);
  writeFile(fileInputStream, fileOutputStream);    

}

public static void writeFile(InputStream fileInputStream, OutputStream outputStream) throws IOException {
try {
  byte[] buffer = new byte[1024];
  int bytesRead;

  while((bytesRead = fileInputStream.read(buffer)) !=-1) {
      outputStream.write(buffer, 0, bytesRead);
  }

  fileInputStream.close();
  outputStream.flush();
 } catch (IOException e) {
   e.printStackTrace();
 } finally {
   outputStream.close();
}

Answer 2

如果您遇到内存不足问题，您应该检查您如何处理正在下载的数据。如果您使用的是泽西的ClientACK，请确保您使用的是getEntityInputStream（）而不是getEntity（）。这样，您可以流式传输数据，将其写入文件，然后将其抛到一边，而不是让它在Java堆空间中堆积。

我不能真正谈论你的同时下载问题，但如果你使用的是Web服务框架，那么它应该得到妥善处理。

对于这两个问题，有关您的特定实现（尤其是代码）的更多信息将帮助您获得更好的响应。