使用maxPageSize和maxResultSize进行Dynamo Db查询，降低查询速度

Question

根据AWS文档，我正在使用dynamo db分页：

--

--

令人惊讶的是，当我不设置任何页面大小（1）时，DynamoDb查询速度明显更快，根据文档，情况应该不是这样。我假设dynamo db在默认情况下返回所有结果，如果我们不指定pageSize。

querySpec.withExclusiveStartKey(lastAccessedRecord); (1)


querySpec.withMaxPageSize(30);
            querySpec.withMaxResultSize(100);
querySpec.withExclusiveStartKey(lastAccessedRecord); (2)

Answer 1

此问题的根本原因：ItemColletions也返回大小为0的页面。一旦有大小为0的页面，我们就需要打破循环，以避免在不必要的页面上进行迭代。

ItemCollection使用某种延迟加载（仅当我们遍历页面时从DynamoDb获取结果）

“项的集合。ItemCollection对象维护指向其当前数据页的光标。最初，光标位于第一页之前。下一个方法将光标移动到下一行”

QuerySpec spec = new QuerySpec().withKeyConditionExpression("Id = :v_id")
            .withValueMap(new ValueMap().withString(":v_id", replyId)).withMaxPageSize(1);

        ItemCollection<QueryOutcome> items = table.query(spec);

        System.out.println("\nfindRepliesForAThreadSpecifyOptionalLimit results:");

        // Process each page of results
        int pageNum = 0;
        for (Page<Item, QueryOutcome> page : items.pages()) {

if(page.size==0)   ](fix )
break;             ]
            System.out.println("\nPage: " + ++pageNum);

            // Process each item on the current page
            Iterator<Item> item = page.iterator();
            while (item.hasNext()) {
                System.out.println(item.next().toJSONPretty());
            }
        }
    }

Answer 2

ItemCollection：它确实使用了延迟加载。AWS文件：

在此Iterable返回的迭代器上对{@code Iterator.next}的每次调用都会导致对DynamoDB的一次调用以检索单个结果页。

另一方面，DynamoDB中的分页基于包的大小（限制1MB大小）。返回的每个页面最大为1MB（项目数量会有所不同）。通过设置maxPageSize，DynamoDB将不得不进行更多的计算来满足您的请求，而不仅仅是根据包大小返回匹配的项目。