AWS使用DynamoDB Lambda配置Kinesis Stream

Question

从这个问题开始，AWS DynamoDB流进入红移

DynamoDB--

如何配置我的Kinesis函数以获取Lambda函数源？

我创建了一个DynamoDB表（购销），并添加了DynamoDB流。然后，我配置Lambda函数来拾取DynamoDB流。我的问题是如何配置Kinesis以获取Lambda函数源？我知道如何配置Lambda转换，不过我想把它作为源代码。不确定如何配置下面的直接输入源。

Answer 1

在你的例子中，你会将Dynamodb流式传输到红移

<代码>发电机B--

首先，需要一个lambda函数来处理DynamoDBStream。对于每个DynamoDBStream事件，使用firehose PutRecord API将数据发送到firehose。从示例中

var firehose = new AWS.Firehose();
firehose.putRecord({
  DeliveryStreamName: 'STRING_VALUE', /* required */
  Record: { /* required */
    Data: new Buffer('...') || 'STRING_VALUE' /* Strings will be Base-64 encoded on your behalf */ /* required */
  }
}, function(err, data) {
  if (err) console.log(err, err.stack); // an error occurred
  else     console.log(data);           // successful response
});

接下来，我们必须知道如何将数据插入红移。从firehose文档中，

为了将数据传递到Amazon Redshift，Kinesis Firehose首先以前面描述的格式将传入数据传递到S3存储桶。然后，Kinesis Firehose发出Amazon Redshift COPY命令，将数据从S3存储桶加载到Amazon Redshift集群。

所以，我们应该知道让COPY命令将数据映射到RedShift模式的数据格式。我们必须遵循redshift COPY命令的数据格式要求。

默认情况下，COPY命令期望源数据是字符分隔的UTF-8文本。默认分隔符是管道字符 ( | ).

因此，您可以对输入Dynamodb stream事件的lambda进行编程，将其转换为管道（|）分隔的行记录，并将其写入Fire hose。

var firehose = new AWS.Firehose();
firehose.putRecord({
  DeliveryStreamName: 'YOUR_FIREHOSE_NAME',
  Record: { /* required */
    Data: "RED_SHIFT_COLUMN_1_DATA|RED_SHIFT_COLUMN_2_DATA\n"
  }
}, function(err, data) {
  if (err) console.log(err, err.stack); // an error occurred
  else     console.log(data);           // successful response
});

请记住添加，因为消防软管不会为您添加新行。