是否有人在使用AWS kinesis streams、lambda和firehose时遇到数据丢失的问题？

Question

我目前正在向aws kinesis stream发送一系列xml消息，我已经在不同的项目中使用了它，所以我很有信心这一点是可行的。然后，我编写了一个lambda来处理从kinesis流到kinesis firehose的事件：

import os
import boto3
import base64

firehose = boto3.client('firehose')


def lambda_handler(event, context):
    deliveryStreamName = os.environ['FIREHOSE_STREAM_NAME']

    # Send record directly to firehose
    for record in event['Records']:
        data = record['kinesis']['data']

        response = firehose.put_record(
            DeliveryStreamName=deliveryStreamName,
            Record={'Data': data}
        )
        print(response)

我已将kinesis流设置为lamdba触发器，并将批大小设置为1，起始位置设置为最新。

对于驱动消防软管，我有以下配置：

Data transformation*: Disabled
Source record backup*: Disabled
S3 buffer size (MB)*: 10
S3 buffer interval (sec)*: 60
S3 Compression: UNCOMPRESSED
S3 Encryption: No Encryption
Status: ACTIVE
Error logging: Enabled

我发送了162个事件，我从s3中读取它们，最多的我设法得到了160个，通常更少。我甚至试图等待几个小时，以防重试时发生奇怪的事情。

有没有人有过使用动觉的经验-

Answer 1

从我在这里看到的情况来看，当您将数据发布到Kinesis流（而不是FireHose）时，很可能会丢失项目。

由于在写入FireHose时使用的是put\u record，因此它将引发异常，在这种情况下将重试lambda。（有必要检查该级别上是否存在故障）。

因此，考虑到我可能假设记录在到达Kinesis流之前就丢失了。如果您使用put_records方法将项目发送到Kinesis流，这并不能保证所有记录都将发送到流（由于超过写入吞吐量或内部错误），一些记录可能无法发送。在这种情况下，失败的记录子集应该由您的代码重新发送（这是Java示例，对不起，我找不到Python的）。