Python复制较大的文件太慢

Question

我正在尝试使用将大文件（> 1 GB）从硬盘复制到USB驱动器shutil.copy。一个描述我正在尝试做的简单脚本是：

import shutil
src_file = "source\to\large\file"
dest = "destination\directory"
shutil.copy(src_file, dest)

在Linux上只需要2-3分钟。但是在Windows下，同一文件上的同一文件副本要花费10-15分钟以上的时间。有人可以解释为什么并给出一些解决方案，最好使用html" target="_blank">html" target="_blank">python代码吗？

更新1

将文件另存为test.pySource文件大小为1 GB。目的地目录位于USB驱动器中。使用ptime计算文件复制时间。结果在这里：

ptime.exe test.py

ptime 1.0 for Win32, Freeware - http://www.
Copyright(C) 2002, Jem Berkes <jberkes@pc-t

===  test.py ===

Execution time: 542.479 s

542.479 s == 9分钟。我认为shutil.copy复制1 GB文件不需要9分钟。

更新2

USB的运行状况良好，因为同一脚本在Linux下可以很好地运行。在Windows本机xcopy下使用相同文件计算的时间，这是结果。

ptime 1.0 for Win32, Freeware - http://www.pc-tools.net/
Copyright(C) 2002, Jem Berkes <[e-mail]>

===  xcopy F:\test.iso L:\usb\test.iso
1 File(s) copied

Execution time: 128.144 s

128.144 s == 2.13分钟。即使复制测试文件后，我也有1.7 GB的可用空间。

Answer 1

只是添加一些有趣的信息：WIndows不喜欢shutil实现内部使用的微小缓冲区。

我已经快速尝试了以下方法：

• 将原始的 shutil.py 文件复制到示例脚本文件夹，并将其重命名为 myshutil.py
• 将第一行更改为 import myshutil
• 编辑了 myshutil.py 文件并从以下更改了 copyfileobj

def copyfileobj（fsrc，fdst，length = 16 * 1024）：

至

def copyfileobj（fsrc，fdst，length = 16 * 1024 * 1024）：

使用16 MB的缓冲区而不是16 KB的缓冲区可显着提高性能。

也许Python需要针对Windows内部文件系统特征进行一些 调整 ？

编辑：

在这里找到了更好的解决方案。在文件的开头，添加以下内容：

import shutil

def _copyfileobj_patched(fsrc, fdst, length=16*1024*1024):
    """Patches shutil method to hugely improve copy speed"""
    while 1:
        buf = fsrc.read(length)
        if not buf:
            break
        fdst.write(buf)
shutil.copyfileobj = _copyfileobj_patched

这是当前实现的简单补丁，并且在这里可以完美地工作。

Python 3.8+： Python
3.8进行了一次重大检查，包括将Windows缓冲区从16KB增加到1MB（仍小于此票证中建议的16MB）。看到票，比较