记一次查询性能优化，原30s+，现0.5s~20s

Posted 2022-12-12 Peter-OK

记一次查询性能优化，原30s+，现0.5s~20s

原查询sql是 两张大表（用户合同表二百多万，合同信息表三百万）联查并按用户id分组，再左连接上6张小表（小表先根据日期查询并按用户id分组），查询条件是用户或机构，再根据机构排序分页。

 

 

 

优化过程：

0.给相关列添加索引是首先的。

1.因为该查询接口最终返回的是总记录数和当前页的人员信息，所以首先考虑查询总记录时没必要这么多张表关联查询。

2.原查询分页是用的sql语句中的分页，而sql中的分页是需要将全量数据搂出来，再返回分页对应的数据，此处考虑在代码中做分页——Java8 Stream流的skip和limit方法组合使用

3.分析查询条件是人员或机构，所以在查询总记录数时，只要影响查询总记录数的表（用户合同表和用户机构表），此处有两种方式：一种是先根据查询条件（人员或机构）查询用户机构表（几千小表），查询出来符合条件的用户，并根据机构排序，再根据用户查询用户合同表（二百多万大表），则返回的记录大小即总记录数；另一种是用户机构表（几千小表）和用户合同表（二百多万大表）根据用户id关联，再根据查询条件（人员或机构）查询，并根据机构排序，则返回的记录大小即总记录数。通过在程序中打印耗时，发现方式一更快，耗时更少。

4.排序：接3的方式一，使用用户机构表查询出来符合条件的用户集合和用户合同表查询出来符合条件的用户集合整