JPA spring启动-当数据库很大时（20M行表），findBy速度非常慢

Question

我需要你们关于JPA spring数据的联系。我的数据库使用MySQL，数据容量为20GB（20m行）。当我执行findByID（字符串id）-（不是唯一标识符）时。这需要10多分钟。。。

性能问题可能是什么？？

我的对象实体：

@Id
@GeneratedValue(strategy = GenerationType.IDENTITY)
private long rootId;

private String address;


private String check_in_time;

private String check_out_time;

@OneToMany(mappedBy = "data" , fetch = FetchType.LAZY)
private Set<DescriptionStruct> description_struct;

private String id;

@ElementCollection(fetch = FetchType.LAZY)
private Set<String> images;

private String kind;

private double latitude;

private double longitude;

private String name;

private String phone;

@Embedded
private Star_certificate star_certificate;

private String postal_code;


@AttributeOverrides({ @AttributeOverride(name = "id", column = @Column(name = "R_ID")),
        @AttributeOverride(name = "name", column = @Column(name = "R_NAME")) })
@Embedded
private Region region;

private int star_rating;

private String email;

private int semantic_version;

@ElementCollection(fetch = FetchType.LAZY)
private Set<String> serp_filters;

private boolean is_closed;

@Embedded
private MetapolicyStruct metapolicy_struct;

private String metapolicy_extra_info;

@Embedded
private Facts facts;

@ElementCollection(fetch = FetchType.LAZY)
private Set<String> payment_methods;

private String hotel_chain;

@OneToMany(mappedBy = "data", fetch = FetchType.LAZY)
private Set<AmenityGroup> amenity_groups;

@OneToMany(mappedBy = "data", fetch = FetchType.LAZY)
private Set<RoomGroup> room_groups;

@OneToMany(mappedBy = "data", fetch = FetchType.LAZY)
private Set<PolicyStruct> policy_struct;

我的职能：

@自动连线专用数据存储库数据存储库；

public regionSearchData returnFullData(regionSearchResponseRH response) {
    
    regionSearchData data = new regionSearchData();

    
    response.getData().getHotels().forEach(H -> {

        Data hotelD = dataRepository.findById(H.getId());
        if (hotelD != null) {
            RatesSearch R = H.getRates().get(0);
            R.setAddress(hotelD.getAddress());
            R.setImages(hotelD.getImages());
            R.setStar_certificate(hotelD.getStar_certificate());
            R.setStar_rating(hotelD.getStar_rating());
            R.setName(hotelD.getName());
                
        }
        
        });
    
    data.setTotal_hotels(response.getData().getTotal_hotels());
    data.setHotels(response.getData().getHotels()); 

    return data;
    
    
    
}

Hibernate统计：

16893585 nanoseconds spent preparing 42 JDBC statements;
347535215661 nanoseconds spent executing 42 JDBC statements;
656641754926 nanoseconds spent executing 82 JDBC statements;

如果我移除findBy需要10秒。。。

谢谢，伊丹

Answer 1

绝对有不止一件事你可以尝试。您的代码需要超过十分钟，这可能是因为它通过网络对数据库进行了多次往返。请记住，不仅数据库搜索需要更多时间，而且从应用程序到数据库的网络往返也需要更多时间，我怀疑这里就是这种情况。

根据您的用例，您可以做的第一件事是最小化到DB的往返，在for循环中调用findById（）是最糟糕的事情。以下是我的建议

1. 向要搜索的字段添加索引
2. 避免在for循环中调用findById（），您可以使用其他存储库方法，也可以编写findByIdsIn（ID列表），具体取决于for循环的大小-您可以一次传递所有ID，或者使用批处理方法，例如一次获取20-30个实体并执行业务逻辑。
3. 您有许多表使用@oneToMany或@ElementCollection连接到您的实体，您需要检查hibernate是否正在为此执行N 1查询，如果是，请首先解决该问题