登录
当前位置： 首页 > 编程笔记 >

Java中使用内存映射实现大文件上传实例

步兴德
2023-03-14
本文向大家介绍Java中使用内存映射实现大文件上传实例，包括了Java中使用内存映射实现大文件上传实例的使用技巧和注意事项，需要的朋友参考一下

在处理大文件时，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作，都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。


package test; 


import java.io.BufferedInputStream;  

import java.io.FileInputStream;  

import java.io.FileNotFoundException;  

import java.io.IOException;  

import java.io.RandomAccessFile;  

import java.nio.MappedByteBuffer;  

import java.nio.channels.FileChannel; 


public class Test { 


    public static void main(String[] args) {  

        try {  

            FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");  

            int sum=0;  

            int n;  

            long t1=System.currentTimeMillis();  

            try {  

                while((n=fis.read())>=0){  

                    sum+=n;  

                }  

            } catch (IOException e) {  

                // TODO Auto-generated catch block  

                e.printStackTrace();  

            }  

            long t=System.currentTimeMillis()-t1;  

            System.out.println("sum:"+sum+"  time:"+t);  

        } catch (FileNotFoundException e) {  

            // TODO Auto-generated catch block  

            e.printStackTrace();  

        } 


        try {  

            FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");  

            BufferedInputStream bis=new BufferedInputStream(fis);  

            int sum=0;  

            int n;  

            long t1=System.currentTimeMillis();  

            try {  

                while((n=bis.read())>=0){  

                    sum+=n;  

                }  

            } catch (IOException e) {  

                // TODO Auto-generated catch block  

                e.printStackTrace();  

            }  

            long t=System.currentTimeMillis()-t1;  

            System.out.println("sum:"+sum+"  time:"+t);  

        } catch (FileNotFoundException e) {  

            // TODO Auto-generated catch block  

            e.printStackTrace();  

        } 


        MappedByteBuffer buffer=null;  

        try {  

            buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);  

            int sum=0;  

            int n;  

            long t1=System.currentTimeMillis();  

            for(int i=0;i<1253244;i++){  

                n=0x000000ff&buffer.get(i);  

                sum+=n;  

            }  

            long t=System.currentTimeMillis()-t1;  

            System.out.println("sum:"+sum+"  time:"+t);  

        } catch (FileNotFoundException e) {  

            // TODO Auto-generated catch block  

            e.printStackTrace();  

        } catch (IOException e) {  

            // TODO Auto-generated catch block  

            e.printStackTrace();  

        } 


    } 


}

测试文件为一个大小为1253244字节的文件。测试结果： 

sum:220152087 time:1464  

sum:220152087 time:72  

sum:220152087 time:25

说明读数据无误。删去其中的数据处理部分。 

package test; 


import java.io.BufferedInputStream;  

import java.io.FileInputStream;  

import java.io.FileNotFoundException;  

import java.io.IOException;  

import java.io.RandomAccessFile;  

import java.nio.MappedByteBuffer;  

import java.nio.channels.FileChannel; 


public class Test { 


    public static void main(String[] args) {  

        try {  

            FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");  

            int sum=0;  

            int n;  

            long t1=System.currentTimeMillis();  

            try {  

                while((n=fis.read())>=0){  

                    //sum+=n;  

                }  

            } catch (IOException e) {  

                // TODO Auto-generated catch block  

                e.printStackTrace();  

            }  

            long t=System.currentTimeMillis()-t1;  

            System.out.println("sum:"+sum+"  time:"+t);  

        } catch (FileNotFoundException e) {  

            // TODO Auto-generated catch block  

            e.printStackTrace();  

        } 


        try {  

            FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");  

            BufferedInputStream bis=new BufferedInputStream(fis);  

            int sum=0;  

            int n;  

            long t1=System.currentTimeMillis();  

            try {  

                while((n=bis.read())>=0){  

                    //sum+=n;  

                }  

            } catch (IOException e) {  

                // TODO Auto-generated catch block  

                e.printStackTrace();  

            }  

            long t=System.currentTimeMillis()-t1;  

            System.out.println("sum:"+sum+"  time:"+t);  

        } catch (FileNotFoundException e) {  

            // TODO Auto-generated catch block  

            e.printStackTrace();  

        } 


        MappedByteBuffer buffer=null;  

        try {  

            buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);  

            int sum=0;  

            int n;  

            long t1=System.currentTimeMillis();  

            for(int i=0;i<1253244;i++){  

                //n=0x000000ff&buffer.get(i);  

                //sum+=n;  

            }  

            long t=System.currentTimeMillis()-t1;  

            System.out.println("sum:"+sum+"  time:"+t);  

        } catch (FileNotFoundException e) {  

            // TODO Auto-generated catch block  

            e.printStackTrace();  

        } catch (IOException e) {  

            // TODO Auto-generated catch block  

            e.printStackTrace();  

        } 


    } 


}

测试结果： 

sum:0 time:1458  

sum:0 time:67  

sum:0 time:8

由此可见，将文件部分或者全部映射到内存后进行读写，速度将提高很多。

这是因为内存映射文件首先将外存上的文件映射到内存中的一块连续区域，被当成一个字节数组进行处理，读写操作直接对内存进行操作，而后再将内存区域重新映射到外存文件，这就节省了中间频繁的对外存进行读写的时间，大大降低了读写时间。

 类似资料：
  • Java中用内存映射处理大文件的实现代码

    本文向大家介绍Java中用内存映射处理大文件的实现代码，包括了Java中用内存映射处理大文件的实现代码的使用技巧和注意事项，需要的朋友参考一下 在处理大文件时，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作，都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。 测试文件为一个大小为1253244字

  • Java中的内存映射文件

    问题内容： 我一直在尝试编写一些非常快速的Java代码，这些代码必须执行很多I / O。我正在使用返回ByteBuffer的内存映射文件： 我遇到的问题是ByteBuffer .array（）方法（应返回一个byte []数组）不适用于只读文件。我想编写我的代码，以便它可以与构造在内存中的内存缓冲区和从磁盘读取的缓冲区一起使用。但是我不想将所有缓冲区都包装为ByteBuffer.wrap（）函数，

  • Java NIO-内存映射文件

    问题内容： 最近，我碰到了这篇文章，这篇文章很好地介绍了内存映射文件以及如何在两个进程之间共享它。这是读取文件的过程的代码： 但是，我对这种方法有几点评论/问题： 如果我们仅对空文件执行读取器，即运行 这将分配8000个字节，现在将扩展文件。返回的缓冲区的限制为8000，位置为0，因此，读取器可以继续读取空数据。发生这种情况后，阅读器将停止，如。 现在应该是作家了（代码被省去了，因为它很简单，可以

  • 用fileupload组件实现的大文件上传简单实例

    本文向大家介绍用fileupload组件实现的大文件上传简单实例，包括了用fileupload组件实现的大文件上传简单实例的使用技巧和注意事项，需要的朋友参考一下 1.FileUploadServlet.java文件，实现上传处理  2.FileUpload.html文件，实现上传页面。 3.配置web.xml文件中的的servlet和过滤器，过滤器解决上传文件名为中文时出现乱码。   4.过滤器

  • php 使用html5实现多文件上传实例

    本文向大家介绍php 使用html5实现多文件上传实例，包括了php 使用html5实现多文件上传实例的使用技巧和注意事项，需要的朋友参考一下 首先向大家介绍一下html5中file的multiple属性 定义和用法 multiple 属性规定输入字段可选择多个值。如果使用该属性，则字段可接受多个值。 实例： 上面实例中的input file 可接受多个文件上传字段。 了解了html5中file的

  • Spring boot实现文件上传实例（多文件上传)

    本文向大家介绍Spring boot实现文件上传实例（多文件上传)，包括了Spring boot实现文件上传实例（多文件上传)的使用技巧和注意事项，需要的朋友参考一下 文件上传主要分以下几个步骤： （1）新建maven java project； （2）在pom.xml加入相应依赖； （3）新建一个表单页面（这里使用thymleaf）; （4）编写controller; （5）测试； （6）对上传

相关阅读

php 使用html5实现多文件上传实例Spring boot实现文件上传实例（多文件上传)js实现分割上传大文件ASP.NET实现大文件上传功能NodeJS使用formidable实现文件上传

相关文章

PHP 文件上传JSP文件上传Struts2 文件上传Flask文件上传Django上传文件

相关问答

使用mapstruct映射Hibernate实体mapreduce文件传输实现如何使用JdbcTemplate返回列表在映射器中实现行映射器？如何创建和写入内存映射文件？Watch Service API是否识别内存映射文件？

相关工具

大实惠 APPStream 上传插件jQuery异步上传插件《Redis 设计与实现》《Apache Spark 设计与实现》

相关文档

蜻蜓映射帮助文档Gradle 实战中文版常用算法实现方法大数据实验手册Redis 设计与实现
快捷导航： 新手教程 算法原理 架构设计 Java进阶 数据库进阶 大厂专栏 面试经验 编程笔记 编程问答 所有专题 文档资料 工具软件 电子书籍 小牛导航
在线工具： 房贷计算器 个税计算器 Linux命令查询 Json格式化 正则表达式 颜色转换 AES加解密 SHA1加密 MD5加密 毒鸡汤 字数统计 随机密码生成 进制转换 Base64编解码 励志句子
Copyright © 2019-2024 小牛知识库@xnip.cn. All Rights Reserved.