Spring仓库findAll（）太慢

Question

我在新的spring boot应用程序中遇到了一个奇怪的缓慢现象，当我获取一个表用于报告时。

这是一个简单的表，没有对其他表的引用，它有5列。行数为50k。因此，我使用了简单的findAll（）方法，该方法在JpaRepository中提供。

当“目标”结果是实体时，findAll（）执行需要5分钟。当我设置DTO类投影或接口投影时，执行需要1-2分钟。

我相信对于那么多的数据来说，这仍然太多了。

此外，hibernate统计提供了0.5秒的执行时间。在剩下的1-2分钟内，如何获取DTO类型的数据？

Answer 1

我有一个类似的问题，Spring数据在执行select之前在我的表上执行select count（*）。为了避免这种情况，我重写了count（）

这可能对你的具体情况有帮助，也可能没有帮助。

import org.springframework.data.jpa.repository.JpaRepository;

public interface MyRepository extends JpaRepository<MyEntity,Integer> {
    

    @Override
    default long count(){
        //counts on very large tables take forever. Optionally add this
        return 0;
    }
}

在我的例子中，选择计数（*）的解释计划很大，手动运行查询时看起来很长时间。

explain select count(*) from MY_TABLE

Answer 2

当然，序列化/反序列化过程非常繁琐，需要太多内存。你可以为此做很多事情：

• 增加应用程序的内存参数。请参阅JVM内存选项。

通过分页示例，您可以在spring boot应用程序中快速显示数据集：

public interface ProductRepository extends PagingAndSortingRepository<Product, Integer> {

    List<Product> findAllByPrice(double price, Pageable pageable);
}

起始点代码来自https://www.baeldung.com/spring-data-jpa-pagination-sorting，以及您可以遵循的说明，以使其运行良好。

Answer 3

@Benda给出了很好的指针，连接jvisualvm并使用CPU评测来查看花费的时间。由于行的数量很大，驱动程序通常会进行多次往返以获取大量数据，以避免出现内存不足的情况，并且在hibernate加载这些行时，会将其累积到一级缓存中。我曾经遇到一个场景，其中事务没有标记为readonly，因此在最后Hibernate尝试进行脏检查，以查看是否有更改。我还建议您集成Javamelody。它是免费的，开源的，并且非常容易用Spring Boot安装（只需在构建中包含一个依赖项）。它可以通过服务级别详细信息和SQL计时告诉您在每个用例中花费的时间——所有这些都有一个良好的可视化仪表板。