使用Python请求和响应模拟下载文件

Question

我有一些python代码，它使用请求成功地从URL下载图像，并将其保存到/tmp/中。我想测试一下，它应该做什么。我使用响应来测试JSON文件的获取，但我不确定如何模拟获取文件的行为。

我假设这类似于嘲笑一个标准的响应，就像下面一样，但是我想我忽略了如何将body设置为文件...

@responses.activate
def test_download():
    responses.add(responses.GET, 'http://example.org/images/my_image.jpg',
              body='', status=200,
              content_type='image/jpeg')
    #...

更新：在Ashafix的评论之后，我正在尝试这个（python 3）：

from io import BytesIO

@responses.activate
def test_download():
    with open('tests/images/tester.jpg', 'rb') as img1:
        imgIO = BytesIO(img1.read())

    responses.add(responses.GET, 'http://example.org/images/my_image.jpg',
              body=imgIO, status=200,
              content_type='image/jpeg')
    imgIO.seek(0)
    #...

但随后，当我正在测试的代码尝试执行我得到的请求时：

a bytes-like object is required, not '_io.BytesIO'

感觉几乎是对的，但我被难住了。

更新2：试图遵循史蒂夫·杰索普的建议：

@responses.activate
def test_download():
    with open('tests/images/tester.jpg', 'rb') as img1:
        responses.add(responses.GET, 'http://example.org/images/my_image.jpg',
                  body=img1.read(), status=200,
                  content_type='image/jpeg')
        #...

但是这次测试的代码提出了这个问题：

I/O operation on closed file.

当然，图像应该仍然在块中打开？

更新3：我正在测试的代码如下：

r = requests.get(url, stream=True)
if r.status_code == 200:
     with open('/tmp/temp.jpg', 'wb') as f:
        r.raw.decode_content = True
        shutil.copyfileobj(r.raw, f)

似乎最后的shutil行正在生成“对已关闭文件的I/O操作”错误我对文件的流式传输理解不够，不知道如何最好地模拟这种行为，测试下载的文件是否保存到/tmp/。




Answer 1

首先，总结一下我现在过于冗长的问题...我在测试一些代码，类似于：

def download_file(url):
    r = requests.get(url, stream=True)
    if r.status_code == 200:
         filename = os.path.basename(url)
         with open('/tmp/%s' % filename, 'wb') as f:
            r.raw.decode_content = True
            shutil.copyfileobj(r.raw, f)
         return filename

它下载一个图像，并将其流式传输，保存到/tmp/。我想嘲笑这个请求，这样我就可以测试其他东西。

@responses.activate
def test_downloads_file(self):
    url = 'http://example.org/test.jpg'
    with open('tests/images/tester.jpg', 'rb') as img:
        responses.add(responses.GET, url,
                        body=img.read(), status=200,
                        content_type='image/jpg',
                        adding_headers={'Transfer-Encoding': 'chunked'})
        filename = download_file(url)
        # assert things here.

一旦我找到了为此使用open（）的方法，我仍然可以从shutil.copyfileobj（）获得I/O操作。停止这一点的是添加Transver-Encode标头，当我发出真正的请求时，它会出现在标头中。

欢迎对其他更好的解决方案提出任何建议！

Answer 2

您可能需要将stream=True传递给响应。添加呼叫。比如：

@responses.activate
def test_download():
    with open("tests/images/tester.jpg", "rb") as img1:
        responses.add(
            responses.GET,
            "http://example.org/images/my_image.jpg",
            body=img1.read(),
            status=200,
            content_type="image/jpeg",
            stream=True,
        )