读取使用Python Paramiko SFTPClient.open方法打开的文件很慢

Question

我正在尝试远程读取netcdf文件。
我使用 paramiko 包读取我的文件，如下所示：

import paramiko
from netCDF4 import Dataset

client = paramiko.SSHClient()
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
client.connect(hostname=’hostname’, username=’usrname’, password=’mypassword’)

sftp_client = client.open_sftp()
ncfile = sftp_client.open('mynetCDFfile')
b_ncfile = ncfile.read()    # ****

nc = Dataset('test.nc', memory=b_ncfile)

但是的运行速度ncfile.read()非常慢。
所以我的问题是：有没有其他替代方法可以远程读取netcdf文件，或者它有什么方法可以加快速度paramiko.sftp_file.SFTPFile.read()？

Answer 1

调用SFTPFile.prefetch应提高读取速度：

ncfile = sftp_client.open('mynetCDFfile')
ncfile.prefetch()
b_ncfile = ncfile.read()

另一种选择是使用bufsize参数启用读取缓冲SFTPClient.open：

ncfile = sftp_client.open('mynetCDFfile', bufsize=32768)
b_ncfile = ncfile.read()

（32768是的值SFTPFile.MAX_REQUEST_SIZE）

对于写入/上传也类似：
使用pysftp“
open”方法打开的SFTP服务器上的文件写入速度很慢。

另一个选择是显式指定要读取的数据量（这使BufferedFile.read代码路径更有效）：

ncfile = sftp_client.open('mynetCDFfile')
b_ncfile = ncfile.read(ncfile.stat().st_size)

_强制性警告：请勿以AutoAddPolicy这种方式使用–这样做会丢失针对MITM攻击的保护。