如何利用最少的读/写单元执行AWS DynamoDB备份和恢复操作？

Question

我们正在寻找一种解决方案，该解决方案使用DynamoDB表的最小读/写单位来执行完整备份、增量备份和恢复操作。备份应存储在AWS S3中（对其他替代方案开放）。我们想到了一些选项，例如：

1） 使用python多处理和boto模块，我们能够执行完全备份和恢复操作，它的性能很好，但需要更多的DynamoDB读/写单元。

2） 使用AWS数据管道服务，我们能够执行完全备份和恢复操作。

3）使用Dynamo Streams和kinesis Adapter/Dynamo Streams和Lambda函数，我们能够执行增量备份。

是否有其他完全备份、增量备份和恢复操作的替代方案。主要的限制/需求是通过使用DynamoDb表的最小读/写单元来获得可扩展的解决方案。

Answer 1

按需备份是DynamoDB服务中内置的一项功能（通常可通过API、AWS管理控制台和CLI访问），它允许您在某个时间点对表进行完整备份。

此任务不会影响表的性能或可用性。所有备份都会自动加密、编目、易于发现并保留，直到您显式删除它们。

此外，您可以随时将这些备份还原到新表。

除了数据外，备份中还包括以下内容：

Global secondary indexes (GSIs)
Local secondary indexes (LSIs)
Streams
Provisioned read and write capacity

备份中不包括以下内容：

Auto scaling policies
AWS Identity and Access Management (IAM) policies
Amazon CloudWatch metrics and alarms
Tags
Stream settings
Time To Live (TTL) settings

我在这里发布了更多信息和演练：https://www.abhayachauhan.com/2017/12/dynamodb-scheduling-on-demand-backups/

Answer 2

选项#1和#2几乎相同-都对DynamoDB表执行扫描操作，从而消耗最大数量的RCU。

选项#3将保存RCU，但恢复将成为一项挑战。如果一条记录被更新了不止一次，那么在S3备份中会有多个副本，因为记录更新会在DynamoDB流中出现两次。因此，在恢复时，您需要选择最新的记录。您还需要正确处理已删除的记录。

如果还原频率较低，您应该选择选项#3，在这种情况下，您可以在需要时在增量备份上运行EMR作业。否则，您应该选择#1或#2。