Paramiko缓冲区问题

Question

我有一个使用paramiko的缓冲区的问题，我在这里发现了同样的问题，其中一个解决方案指出：

如果您只是调用.open（）来获取SFTPFile实例，而不是使用.get（），那么就对该对象调用.read()，或者只是将其交给Python标准库函数shutil.copyFileObj（）来下载内容。这将避免Paramiko预取缓存，并且允许您下载文件，即使它没有那么快。

如果我有：

ssh=paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect(host,username=user,password=pwd)
sftp=ssh.open_sftp()
sftp_file=sftp.open(remote_file_adress)

Answer 1

下面是一个在本地机器上获取测试文件副本的工作示例。该文件比1个GIG小得多，但给出了总体计划。

import paramiko
import os
import shutil
import time
import getpass

# get params
user = getpass.getuser()
pwd = getpass.getpass("Enter password: ")
bufsize = 2**20
host = 'localhost'
test_file_lines = 1000000

# create test file
now = time.asctime()
testfile_path = os.path.abspath('deleteme')
local_path = 'deleteme.copy'

print('writing test file...')
start = time.time()
with open(testfile_path, 'w') as fp:
    for _ in range(test_file_lines):
        fp.write(now + '\n')
delta = time.time() - start
file_size = os.stat(testfile_path).st_size
print("file size %d, %d KB/Sec" % (file_size, file_size/1024/delta))

# make connection
ssh=paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect(host,username=user,password=pwd)
sftp=ssh.open_sftp()
sftp_file=sftp.open(testfile_path, bufsize=bufsize)
print('copying file...')
start = time.time()
shutil.copyfileobj(sftp_file, 
    open(local_path, 'wb', bufsize),
    bufsize)
delta = time.time() - start
print('%.3f seconds, %d KB/Sec' % (delta, file_size/1024/delta))

#assert open(testfile_path).read() == open(local_path).read(), "files match"

在我的机器上运行

Enter password: 
writing test file...
file size 25000000, 21017 KB/Sec
copying file...
10.225 seconds, 2387 KB/Sec

我们预计会有一些慢下来，因为有一个读和一个写加上网络成本（它是本地主机，所以不会真的接触到电线），但这看起来确实有点慢。我使用的是一个低功耗的笔记本电脑，有2个核心，在这个应用程序和sshd之间，使用了大量的cpu，大概是为了加密。动力更大的机器可能工作得更好。