如何通过多个客户端查询DynamoDB中的所有数据
我有一个DynamoDB表，有1000万条记录。我需要每24小时对每个记录的主键执行一些计算。为了实现这一点，我可以每24小时查询一次整个表。由于单个DynamoDB查询只返回1MB数据，这将使总查询和计算时间超过24小时，因此我希望有10名工作人员执行DynamoDB查询和计算。我应该如何查询该表，以便一条记录只能由一名工作人员检索，最终检索所有1000万条记录？
似乎我需要将LastEvaluatedKey保存在某个位置，以便worker 2知道worker 1查询的结束位置，以便继续查询表。
共有1个答案
DDBScan（）包括并行扫描的功能。
但是，建议在DDB中处理聚合的方法是将Lambda与DDB流一起使用，并在现有表甚至新表中维护聚合。
您也可以选择使用红移或Hive，如回答此问题时所述：如何使用DynamoDB进行基本聚合？
-
我对mongo很陌生，我正在尝试用两个查询从收集中获取所有数据，我有条目，每个条目都有startdate。我需要得到所有的数据，首先所有项目的开始日期低于当前日期排序的DESC和跟随其余数据的开始日期大于或等于当前日期排序的asc。我不知道该怎么做。很抱歉我的英语不好，我是新手。 我在下一条路上试过这样做 但如果可能的话，我想通过一个查询来实现
-
问题内容： 我想知道如何编写此查询。 我知道这个实际的语法是虚假的，但是它将帮助您理解我想要的。我需要这种格式，因为它是更大查询的一部分。 我需要所有这些都在一个查询中返回。 此外，它必须排成一排，因此以下内容将不起作用： 问题答案： 您可以将语句与聚合函数一起使用。这与某些RDBMS中的函数基本相同：
-
我有一个AWS DynamoDb购物车表，其项目结构如下- - 该表将作为主键， 作为索引或GSI， 作为索引或GSI。 我希望能够查询购物车表， 查找的项目。 我不知道这是否意味着查询- 我知道AWS DynamoDb表不能同时使用多个索引进行查询， 我遇到了以下问题，它有一个类似的用例，答案是建议创建一个复合键， 使用多个本地辅助索引DynamoDb进行查询 这是否意味着在将新项放入表中时，
-
问题内容： 这是我的问题，我正在选择并执行多个联接以获取正确的项目…它吸引了相当多的行，超过100,000。当日期范围设置为1年时，此查询将花费5分钟以上的时间。 我不知道是否可能，但恐怕用户会将日期范围扩展到10年左右并使其崩溃。 有人知道我可以如何加快速度吗？这是查询。 我不是MySQL方面的佼佼者，因此不胜感激！ 提前致谢！ 更新 这是您要求的解释 我还为table5行和table4行添加了
-
我正在开发一个基于java服务器客户端的应用程序，并使用Netty（4.0.27。最终）进行TCP套接字连接。我面临客户端的问题。 在客户机中，我为多个客户机（100个并发客户机）使用一个引导程序和一个NioEventLoopGroup，并为每个新的客户机连接调用以下命令。 现在，完成工作后，每个客户机都调用ctx。断开（）。调用它之后，所有客户端都会收到ChannelInactive，并且所有客
-
问题内容： 该站点仅包含JSON文档，而没有Java客户端。我应该执行某种映射吗？ 例如地理位置查询：http : //www.elasticsearch.org/guide/reference/query- dsl/geo-distance-range- filter.html 如何使用Java客户端编写这样的查询？ 谢谢杰森 问题答案： 不明显但不那么复杂;）