AWS Lambda put_对象函数未将文件发送到目标s3存储桶

Question

我调用一个Lambda函数，将一个.csv文件从电子邮件发送到我在所述函数中指定的目标s3存储桶。当传入的s3 bucket接收到电子邮件时，调用由事件类型：ObjectCreatedByPut触发。

我从CloudWatch日志中看到该函数确实按预期调用，但从未将文件发送到目标s3存储桶。

这是显示键mfdat0psudj12qfihankjkiindd17vftd775so01存在的传入文件夹

这是Lambda函数；

from __future__ import print_function

import json
import urllib
import boto3
import os

import email
import base64

FILE_MIMETYPE = 'text/csv'

# destination folder
S3_OUTPUT_BUCKETNAME = 's3-bucket/attachments/' 

print('Loading function')

s3 = boto3.client('s3')


def lambda_handler(event, context):

    #source email bucket 
    inBucket = event['Records'][0]['s3']['bucket']['name']
    key = urllib.parse.quote(event['Records'][0]['s3']['object']['key'].encode('utf8'))


    try:
        response = s3.get_object(Bucket=inBucket, Key=key)
        msg = email.message_from_string(response['Body'].read().decode('utf-8'))   

    except Exception as e:
        print(e)
        print('Error retrieving object {} from source bucket {}. Verify existence and ensure bucket is in same region as function.'.format(key, inBucket))
        raise e
    
    #print(msg)
    
    attachment_list = []
    attachment = msg.get_payload()[1]


    try:
        #scan each part of email 
        for message in msg.get_payload():
            
            # Check filename and email MIME type
            if (message.get_filename() != None and message.content_type() == FILE_MIMETYPE):
                attachment_list.append ({'original_msg_key':key, 'attachment_filename':message.get_filename(), 'body': base64.b64decode(msg.get_payload()) })
    except Exception as e:
        print(e)
        print ('Error processing email for CSV attachments')
        raise e
    
    # if multiple attachments send all to bucket 
    for attachment in attachment_list:

        try:
            s3.put_object(Bucket=S3_OUTPUT_BUCKETNAME, Key=attachment['original_msg_key'] +'-'+attachment['attachment_filename'] , Body=attachment['body']) 
        except Exception as e:
            print(e)
            print ('Error sending object {} to destination bucket {}. Verify existence and ensure bucket is in same region as function.'.format(attachment['attachment_filename'], S3_OUTPUT_BUCKETNAME))
            raise e
            
    print(key)
    print(inBucket)
    print(S3_OUTPUT_BUCKETNAME)
    print(message.get_filename())
    print(response)

    return event

这里是显示函数成功调用的日志。

Timestamp
Message
No older events at this moment. 
Retry

2020-10-25T22:05:32.093+00:00   Loading function

2020-10-25T22:05:32.208+00:00   START RequestId: 9d683660-4436-4cff-92c4-01e3ae028a67 Version: $LATEST

2020-10-25T22:05:33.326+00:00   mfdat0psudj12qfihankjkiindd17vftd775so01

2020-10-25T22:05:33.326+00:00   s3-bucket

2020-10-25T22:05:33.326+00:00   s3-bucket/attachments/

2020-10-25T22:05:33.326+00:00   None

2020-10-25T22:05:33.364+00:00   {'ResponseMetadata': {'RequestId': '4DCD1196A2C991B8', 'HostId': 'tKOE8xz3yq1gryGS+7f7u9+fdwU+buK4C/gTTzOZYZheSxXI9a1MxrggIioWttO9mwmCiwG15d0=', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amz-id-2': 'tKOE8xz3yq1gryGS+7f7u9+fdwU+buK4C/gTTzOZYZheSxXI9a1MxrggIioWttO9mwmCiwG15d0=', 'x-amz-request-id': '4DCD1196A2C991B8', 'date': 'Sun, 25 Oct 2020 22:05:33 GMT', 'last-modified': 'Sun, 25 Oct 2020 22:05:31 GMT', 'etag': '"b66db710202d45a98daa0a47badf6094"', 'accept-ranges': 'bytes', 'content-type': 'application/octet-stream', 'content-length': '1207346', 'server': 'AmazonS3'}, 'RetryAttempts': 0}, 'AcceptRanges': 'bytes', 'LastModified': datetime.datetime(2020, 10, 25, 22, 5, 31, tzinfo=tzutc()), 'ContentLength': 1207346, 'ETag': '"b66db710202d45a98daa0a47badf6094"', 'ContentType': 'application/octet-stream', 'Metadata': {}, 'Body': <botocore.response.StreamingBody object at 0x7ffba103f490>}

2020-10-25T22:05:33.366+00:00   END RequestId: 9d683660-4436-4cff-92c4-01e3ae028a67

2020-10-25T22:05:33.366+00:00   REPORT RequestId: 9d683660-4436-4cff-92c4-01e3ae028a67 Duration: 1157.42 ms Billed Duration: 1200 ms Memory Size: 128 MB Max Memory Used: 89 MB Init Duration: 413.53 ms
No newer events at this moment. 
Auto retry paused.
 
Resume

然而，当我检查s3 bucket/attachments时，目录是空的。有趣的是，打印（message.get\u filename（））返回无。

我已经检查了Lambda代码的错误，并尝试使用s3。上传文件，但这似乎也不起作用。

不知道现在该转向哪里。

Answer 1

在改进了错误处理并探索了邮件库的方法之后，我能够确认这条消息。content\u type（）不正确，正确的方法是infact消息。获取content\u type（）。使用错误方法的含义是，msg.get\u payload（）中消息的条件：…无法计算和输出任何内容，因此为打印（message.get\u filename（））返回了无，因此为附件列表返回了空白列表。

下面的正确语句供任何希望使用Lambda或其他地方复制此功能的人参考。

try:
        #scan each part of email 
        for message in msg.get_payload():
            
            # Check filename and email MIME type
            if  (message.get_content_type() == FILE_MIMETYPE and message.get_filename() != None):
                attachment_list.append ({'original_msg_key':key, 'attachment_filename':message.get_filename(), 'body': base64.b64decode(message.get_payload()) })
    except Exception as e:
        print(e)
        print ('Error processing email for CSV attachments')
        raise e

感谢所有的贡献和指导。

Answer 2

您的打印（message.get\u filename（））似乎表明文件名为“无”，并且您的循环中有一个特定的大小写，表示消息。get\u filename（）！=没有，所以看起来没有有效的附件。

我将围绕负载中的消息添加更多调试，然后仔细检查您对有效文件名、mimetype等的假设，以及您是否具有正确的条件设置。

Answer 3

您正在设置S3\u OUTPUT\u BUCKETNAME='S3 bucket/attachments/'，并将其用作调用put\u对象中bucket的参数。这行不通，因为bucket名称不能包含斜杠（/）。

“文件夹”必须是键的一部分。事实上，S3没有任何文件夹，因为它不是文件系统。来自实际文件系统的文件夹被翻译成前缀作为对象键的一部分。

尝试按以下方式更改功能：

...
S3_OUTPUT_BUCKETNAME = 's3-bucket'
...
s3.put_object(
    Bucket=S3_OUTPUT_BUCKETNAME, 
    Key='attachments/' + attachment['original_msg_key'] + '-' + attachment['attachment_filename'] , 
    Body=attachment['body']
)
...

话虽如此，我怀疑附件列表是空的，甚至没有执行。请在应该向列表添加附件的if语句和迭代附件列表中项目的for循环周围添加一些日志。那里可能隐藏着一个bug。