每次后续调用，JPA分页查询都会变慢

Question

该项目有JPA的Spring Boot。我们有一辆有100万条记录的台式车。表具有索引字段类型。

我们有一个用例，我们希望按类型获取所有记录。对于每种类型，我们都会得到所有的车辆记录，然后是下一种类型，然后是下一种，依此类推。

由于有100万条记录，我们将获取每种类型的记录，批量大小为1000。我们还应用了一个类型为column的过滤器。

汽车仓库。JAVA

Page<VehicleRecord> findByType(String type, Pageable pageable);

车辆服务。JAVA

for (String type: vehicleTypes) {

  Pageable pageable = PageRequest.of(0, 1000, Sort.by("updated_at").ascending());
  Page<VehicleRecord> vehicles = null;

  do {
    vehicles = vehicleRepository.findByType(type, pageable);
    // do something with vehicles
    pageable = pageable.next();
  } while (vehicles.hasNext());

}

为了理解，假设有5种类型的记录：

1. A-0车辆
2. B-100000辆
3. C-0车辆
4. D-0车辆
5. E-0车辆

问题：

>

在这种情况下，当获取数据时，findByType在

当取B时，第一次取LIMIT 1000 OFFSET 0需要大约200ms。但从这里开始走下坡路，随着OFFSET值的增加，时间也在增加。到LIMIT为1000和OFFSET 90000时，findByType需要6000-7000ms。

更令人困惑的是，在为B获取数据之后，剩下的类型（C，D

我不确定这里发生了什么。我在某处读到，这是因为高OFFSET值，该方法花费了这么多时间。但这并不能解释为什么这种方法需要花这么多时间来研究C、D和E。

任何输入都会有帮助。谢谢

Answer 1

Chris说了一句正确的话：应用程序不知道上次查询“B”时它离开了哪里，结果是（页面大小1000）：

您请求第0页：查找匹配的条目并将其添加到结果集中。一旦结果集的大小为1000，则返回它。

您请求第1页：查找（！）并跳过前1000个匹配条目。将匹配的条目1001到2000添加到结果集中并忽略它。

您请求第2页：查找（！）并跳过前2000个匹配条目。将匹配的条目2001到3000，添加到结果集中并忽略它。

...等等。

因此，基本上数据库会多次执行查询，每次都会增加总查询时间，因为数据库不知道上次查询的位置。解决方案是以某种方式将最后获取的id（主键）传递给查询，然后从那里开始（…和id）

我编译了一个示例应用程序来测试您的发现。在我的车辆表中，目前有723k项。数据库和应用程序在我的本地机器上运行（pagesize 1000）：

1. 查询A（0个条目）需要大约10ms。
2. 查询B（0个条目）大约需要2200ms。
3. 查询C（0个条目）需要大约10ms。
4. 查询D（0个条目）需要大约10ms。
5. 查询E（0个条目）需要大约10ms。

所以，我无法重现你的问题。也许你可以将代码简化为尽可能简单的代码，并与我们分享（或者自己找到瓶颈）。

我把我的上传到我的Github存储库。

结果是：

A: 185ms
B: 2139ms
B: 2007ms
B: 1863ms
B: 1930ms
C: 2ms
D: 3ms
E: 2ms
A: 1ms
B: 2020ms
B: 2044ms
B: 2006ms
B: 2053ms
B: .. same average values all over

还有一件事，如果数据库中有很多记录，但只有少量不同类型的记录，那么索引就不会有多大帮助。一些SQL优化器可能会忽略索引并执行完整表扫描，因为索引基数可能太低。