模拟boto3 S3客户端方法Python

Question

我正在尝试从boto3 s3客户端对象模拟一个单独的方法来引发异常。但是我需要所有其他方法来使此类正常工作。

这样一来，我可以在执行upload_part_copy并发生错误时测试单个异常测试

第一次尝试

import boto3
from mock import patch

with patch('botocore.client.S3.upload_part_copy', side_effect=Exception('Error Uploading')) as mock:
    client = boto3.client('s3')
    # Should return actual result
    o = client.get_object(Bucket='my-bucket', Key='my-key')
    # Should return mocked exception
    e = client.upload_part_copy()

但是，这将产生以下错误：

ImportError: No module named S3

第二次尝试

查看botocore.client.py源代码后，我发现它做的很聪明，并且该方法upload_part_copy不存在。我发现似乎要打电话给BaseClient._make_api_call我，所以我试图模拟

import boto3
from mock import patch

with patch('botocore.client.BaseClient._make_api_call', side_effect=Exception('Error Uploading')) as mock:
    client = boto3.client('s3')
    # Should return actual result
    o = client.get_object(Bucket='my-bucket', Key='my-key')
    # Should return mocked exception
    e = client.upload_part_copy()

这引发了异常…但是get_object我想避免这种情况。

关于如何只能在upload_part_copy方法上引发异常的任何想法？

Answer 1

一旦我在这里发布，我就设法提出了一个解决方案。希望对您有帮助：)

import botocore
from botocore.exceptions import ClientError
from mock import patch
import boto3

orig = botocore.client.BaseClient._make_api_call

def mock_make_api_call(self, operation_name, kwarg):
    if operation_name == 'UploadPartCopy':
        parsed_response = {'Error': {'Code': '500', 'Message': 'Error Uploading'}}
        raise ClientError(parsed_response, operation_name)
    return orig(self, operation_name, kwarg)

with patch('botocore.client.BaseClient._make_api_call', new=mock_make_api_call):
    client = boto3.client('s3')
    # Should return actual result
    o = client.get_object(Bucket='my-bucket', Key='my-key')
    # Should return mocked exception
    e = client.upload_part_copy()

JordanPhilips还使用botocore.stub.Stubber类发布了一个不错的解决方案]。虽然使用更干净的解决方案，但我无法模拟特定的操作。

Botocore有一个客户存根，您可以将其用于此目的：docs。

这是在其中放置错误的示例：

import boto3
from botocore.stub import Stubber

client = boto3.client('s3')
stubber = Stubber(client)
stubber.add_client_error('upload_part_copy')
stubber.activate()

# Will raise a ClientError
client.upload_part_copy()

这是放置正常响应的示例。此外，现在可以在上下文中使用该Stubber。重要的是要注意，存根将在可能的范围内验证您提供的响应与服务将实际返回的内容匹配。这不是完美的方法，但是它将保护您避免插入总的废话响应。

import boto3
from botocore.stub import Stubber

client = boto3.client('s3')
stubber = Stubber(client)
list_buckets_response = {
    "Owner": {
        "DisplayName": "name",
        "ID": "EXAMPLE123"
    },
    "Buckets": [{
        "CreationDate": "2016-05-25T16:55:48.000Z",
        "Name": "foo"
    }]
}
expected_params = {}
stubber.add_response('list_buckets', list_buckets_response, expected_params)

with stubber:
    response = client.list_buckets()

assert response == list_buckets_response