当前位置: 首页 > 编程笔记 >

基于断点续传下载原理的实现

长孙沈义
2023-03-14
本文向大家介绍基于断点续传下载原理的实现,包括了基于断点续传下载原理的实现的使用技巧和注意事项,需要的朋友参考一下

需求背景

动态创建的文件下载的时候希望浏览器显示下载进度

动态创建的文件希望能够分段下载

HTTP断点续传报文

要实现HTTP断点续传必须要简单了解以下几个报文。

Accept-Ranges 告诉客户端(浏览器..)服务器端支持断点续传 服务器端返回

Range 客户端告诉服务器端从指定的的位置/范围(这里值字节数)下载资源 客户端发出

Content-Range 服务器端告诉客户端响应的数据信息,在整个返回体中本部分的字节位置 服务器端返回

ETag 资源标识 非必须 服务器端返回

Last-Modified 资源最后一次更新的时间 非必须 服务器端返回

Range 的范围格式

表示0-499个字节范围:Range: bytes=0-499

表示最后500个字节范围:Range: bytes=-500

表示500字节开始到结束范围:Range: bytes=500-

表示第一个和最后一个字节:Range: bytes=0-0,-1

表示同时指定几个范围:Range: bytes=500-600,601-999

Content-Range 的数据格式

Content-Range: bytes 0-499/22036 :表示返回0-499字节范围数据 资源一共22036个字节

原理

客户端发起请求 设置Range指定开始字节数或结束字节数 如果是从0开始也可以不用设置。

服务器端检查到客户端Range头 解析开始字节数以及结束字节数 并返回报文头 Accept-Ranges表示支持断点续传,Content-Range记录该次向客户端写入流的位置信息,然后再写入流到客户端。

服务端可以使用ETag Last-Modified 标记一下资源是否被修改。作一些验证工作,如果验证不通过则返回错误,非必须项。

java实现

OutputStream os=null;
 InputStream inputStream =null;
 File zipFile=null;
 try{
  long zipStart=System.currentTimeMillis();
  zipFile=createFile();//动态根据业务创建文件
  if(logger.isInfoEnabled()){
   logger.info(String.format("压缩ZIP 花费时间 %s(s) ",
  (System.currentTimeMillis()-zipStart)/1000));
  }
  if (zipFile.exists()) {
   long downloadStart=System.currentTimeMillis();
   inputStream= new BufferedInputStream(new FileInputStream(zipFile));
   response.reset();
   os=new BufferedOutputStream(response.getOutputStream());
   String userAgent = request.getHeader("USER-AGENT");
   String fileName=zipFile.getName();
   if (null != userAgent && -1 != userAgent.indexOf("MSIE")) {
    fileName = URLEncoder.encode(fileName, "UTF8");
   } else if (null != userAgent && -1 != userAgent.indexOf("Mozilla")) {
    fileName = new String(fileName.getBytes("utf-8"), "ISO-8859-1");
   }
   response.setHeader("Accept-Ranges", "bytes");
   response.setHeader("Content-Disposition", 
  "attachment;filename="+ fileName);
   response.setContentType(MediaType.APPLICATION_OCTET_STREAM_VALUE);
   long pos = 0, fileSize=zipFile.length(),
 last=fileSize-1;
   response.setHeader("ETag",zipFile.getName().
   concat(Objects.toString(fileSize))
     .concat("_").concat(Objects.toString(zipFile.lastModified())));
   response.setDateHeader("Last-Modified",zipFile.lastModified());
   response.setDateHeader("Expires",
   System.currentTimeMillis()+1000*60*60*24);
   if (null != request.getHeader("Range")) {
    response.setStatus(HttpServletResponse.SC_PARTIAL_CONTENT);
    try {
     // 暂时只处理这2种range格式 1、RANGE: bytes=111- 2、Range: bytes=0-499
     String numRang = request.getHeader("Range")
   .replaceAll("bytes=", "");
     String[] strRange = numRang.split("-");
     if (strRange.length == 2) {
      pos = Long.parseLong(strRange[0].trim());
      last = Long.parseLong(strRange[1].trim());
     } else {
      pos = Long.parseLong(numRang.replaceAll("-", "").trim());
     }
    } catch (NumberFormatException e) {
     logger.error(request.getHeader("Range") + " error");
     pos = 0;
    }
   }
   long rangLength = last - pos + 1;
   String contentRange = new StringBuffer("bytes ").
   append(String.valueOf(pos)).
   append("-").append(last).append("/").
   append(String.valueOf(fileSize)).toString();
   response.setHeader("Content-Range", contentRange);
   response.addHeader("Content-Length",Objects.toString(rangLength));
   if(pos>0){
    inputStream.skip(pos);
   }
   byte[] buffer = new byte[1024*512];//每次以512KB 0.5MB的流量下载
   int length = 0,sendTotal=0;
   while (sendTotal < rangLength && length!=-1) {
    length = inputStream.read(buffer, 0,
  ((rangLength - sendTotal) <= buffer.length ?
      ((int) (rangLength - sendTotal)) : buffer.length));
    sendTotal = sendTotal + length;
    os.write(buffer, 0, length);
   }
   if(os!=null){
    os.flush();
   }
   if(logger.isInfoEnabled()){
    logger.info(String.format("下载 花费时间 %s(s) ",
  (System.currentTimeMillis()-downloadStart)/1000));
   }
  }
 }catch (Exception e){
  if(StringUtils.endsWithIgnoreCase(e.getMessage(),"Broken pipe")){
   logger.error("用户取消下载");
  }
  logger.error(e.getMessage(),e);
 }finally {
  if(os!=null){
   try{
    os.close();
   }catch (Exception e){}
  }
  if(inputStream!=null){
   try{
    IOUtils.closeQuietly(inputStream);
   }catch (Exception e){}
  }
 }
}

比如google浏览器下载的时候就能看到下载进度以及暂停下载和恢复下载操作,也可以设置Range测试分段下载。

以上这篇基于断点续传下载原理的实现就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持小牛知识库。

 类似资料:
  • 本文向大家介绍基于Ok+Rxjava实现断点续传下载,包括了基于Ok+Rxjava实现断点续传下载的使用技巧和注意事项,需要的朋友参考一下 本文为大家分享了实现断点续传下载的具体代码,供大家参考,具体内容如下 1、基于Ok+Rxjava实现断点续传下载 2、基于Ok+Rxjava+Retrofit实现断点续传下载 最近总结一下了一下之前学过以及用到过得功能,整理了一个基于Ok+Rxjava实现断点

  • 本文向大家介绍基于Ok+Rxjava+retrofit实现断点续传下载,包括了基于Ok+Rxjava+retrofit实现断点续传下载的使用技巧和注意事项,需要的朋友参考一下 本文为大家分享了实现断点续传下载的具体代码,供大家参考,具体内容如下 1、基于Ok+Rxjava实现断点续传下载 2、基于Ok+Rxjava+Retrofit实现断点续传下载 上一篇博客中介绍了基于Ok+Rxjava实现断点

  • 本文向大家介绍PHP实现下载断点续传的方法,包括了PHP实现下载断点续传的方法的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了PHP实现下载断点续传的方法。分享给大家供大家参考。 具体实现代码如下: 希望本文所述对大家的PHP程序设计有所帮助。

  • 本文向大家介绍C# 文件下载之断点续传实现代码,包括了C# 文件下载之断点续传实现代码的使用技巧和注意事项,需要的朋友参考一下 注意,本文所说的断点续传特指 HTTP 协议中的断点续传。本文主要聊聊思路和关键代码,更多细节请参考本文附带的 demo。 工作原理 HTTP 协议中定义了一些请求/响应头,通过组合使用这些头信息。我们可以在一次 HTTP 请求中只请求一个文件中的一部分数据。这样我们就可

  • 本文向大家介绍Android通过HTTP协议实现断点续传下载实例,包括了Android通过HTTP协议实现断点续传下载实例的使用技巧和注意事项,需要的朋友参考一下 整理文档,搜刮出一个Android通过HTTP协议实现断点续传下载的代码,稍微整理精简一下做下分享。 FileDownloader.java                                                

  • 本文向大家介绍PHP大文件及断点续传下载实现代码,包括了PHP大文件及断点续传下载实现代码的使用技巧和注意事项,需要的朋友参考一下 一般来说浏览器要同时下载几个文件,比如pdf文件,会在服务器端把几个文件压缩成一个文件。但是导致的问题就是会消耗服务器的cpu和io资源。 那有没有办法,用户点了几个文件,在客户端同时下载呢? 支持html5的浏览器是可以的,html的a标签有一个属性download