如何将Kinesis Firehose数据传递到dynamodb表？

Question

Kinesis Firehose流接收消息<有一个选项可以持久化到S3，但我的用例是插入到dynamodb表中<消防软管具有启用Lambda功能的选项。我应该使用Lambda将插入逻辑写入dynamodb表吗？这是正确的方法吗<如果是这样，那么如何使用Java编写的Lambda将记录插入DynamoDB。

Answer 1

没有将Firehose流数据插入DynamoDB的标准方法（例如S3或Redshift）。推荐的方法是执行Lambda并将记录插入DynamoDB。

使用dynamoDB。batchWriteItem或dynamoDB。putItem，更多信息请参阅本文或本文。

public String handleRequest(KinesisFirehoseEvent event, Context context)
    List<KinesisFirehoseEvent.Record> records = event.getRecords();
    for(KinesisFirehoseEvent.Record rec : records)
    {
        String recordId = rec.getRecordId();
        String data = StandardCharsets.UTF_8.decode(rec.getData()).toString();

        Item item = transformStringToItem(data);
        // Write the item to the table 
        table.putItem(item);
    }
    return "success";
}

firehoseStream结构在这里有文档记录，Java示例在这里，关于firehose到lambda的更多信息在这里。