通过数据管道导出dynamodb随需应变数据表
我正在尝试使用数据管道将数据从dynamoDb导出到S3。我的表是按需配置的，包含10gb的数据。它将消耗多少rcu？有没有一种方法可以减少rcu的扩展，并最终增加传输时间？
共有2个答案
作为另一种选择，DynamoDB最近发布了一项新功能，将您的数据导出到S3存储桶。它支持DynamoDB JSON和亚马逊离子-请参阅如何使用它的留档：
https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DataExport.html
此过程不会消耗表的读取容量，从而完全消除了此问题。
您可以按需更改
-
我的DynamoDB表有大约1亿（30GB）个项目，我为它配置了10k RCU。我正在使用数据管道作业导出数据。 将DataPipeline读取吞吐量比设置为0.9。 如何计算完成导出的时间（管道完成导出需要4个多小时） 我如何优化它，使导出在更短的时间内完成。 读取吞吐量比率如何与DynamoDB导出相关？
-
我曾经使用名为的Data Pipeline模板将DynamoDB表导出到文件。我最近更新了我所有的DynamoDB表，以按需提供和模板不再工作。我很确定这是因为旧模板指定了要消耗的DynamoDB吞吐量的百分比，这与按需表无关。 我尝试将旧模板导出到JSON，删除对吞吐量百分比消耗的引用，并创建一个新的管道。然而，这是不成功的。 有人能建议如何将具有吞吐量规定的旧式管道脚本转换为新的按需表脚本吗？
-
我在DynamoDB有一个表，它有数百万条记录。我已经根据标准创建了一个二级索引（GSI），并基于此筛选产品。现在，我想使用AWS数据管线从表中查询产品并将其导出到S3。 a）我们可以在管道中指定GSI名称吗？因为使用数据管道对大型表进行查询会因为超时问题而被取消。[管道配置有6小时的最大等待时间，它正在达到并被取消]？b）有没有更好的方法来使用GSI索引从表中快速创建导出转储？ 请分享你的观点。
-
我有一个DynamoDB表是14.05GB，有140,000,000项。我试图使用数据管道克隆它（到同一区域），但当管道完成时，目标表只有大约160,000个项目，我等了6个小时才能查看项目计数。 我将每个表的吞吐量设置为256，管道需要大约20分钟才能完成。有没有可能导致管道只复制表的一部分？尺寸和物品数量是否有无形的限制？我已经尝试了3次，每次都有类似的结果，“完成”的目标表只包含90150k
-
我有一个百万记录的DynamoDB表。我正在使用数据管道将DynamoDb表导出到S3。但是数据管道以DynamoDB JSON格式将表导出为一组原始json文件。数据管道运行一小时后，由于超时异常，EMR失败。 有没有办法将DynamoDB表导出为CSV并增加数据管道中的EMR超时配置？
-
我试图在ProductFeature表中插入product对象。但我做不到。如何在下面的impex标题中插入值？