使用python库从FTP获取大型文件

Question

我需要下载一些大文件（

据我所读，有两种联系。数据和控制通道，其中数据通道似乎工作正常（我可以完全下载文件），但控制通道同时超时。我还了解到ftplib（和其他python ftp库）不适合大文件，可能只支持1GB左右的文件。这里有一个与此主题类似的问题：如何通过ftp（带监控）下载python中的大文件

我当前的代码如下所示：

import ftplib
import tempfile

ftp = ftplib.FTP_TLS()

ftp.connect(host=server, port=port)
ftp.login(user=user, passwd=password)
ftp.prot_p()
ftp.cwd(folder)

for file in ftp.nlst():
    fd, local_filename = tempfile.mkstemp()
    f = open(fd, "wb")
    ftp.retrbinary('RETR %s' % file, callback=f.write, blocksize=8192)
    f.close()

我可以使用它或其他支持大文件的库吗？

Answer 1

如果您遇到标准FTP问题，您可以尝试使用专门设计用于处理此类大文件的不同协议。

存在许多合适的解决方案。Rsync可能是一个很好的开始。