数据结转性能优化，效果明显到不解释！

Posted 2020-10-11 buguge

支付中心数据结转服务的逻辑是，将10天（可配置）前的数据结转到备份表里。

db是MSSQLServer

T_PayApply表记录数：33,902,756

T_PayAppl表主键是payid，long型，自增。其payTime字段上没有索引

 

有如下子方法，用来获取数据表里10天前的最大记录id，服务后续结转小于此id的记录。

private long GetMaxId()
{
    string sqlMaxId = "select max(payid) from [dbo].[T_PayApply] NOLOCK where payTime <[email protected]";
    var sqlParam = new SqlParameter("@maxTime", SqlDbType.DateTime);
    sqlParam.Value = threshold_of_upToDate;
    var maxId = PayCenterSQLHelper.ExecuteScalar(sqlMaxId, sqlParam);
    return maxId == DBNull.Value ? 0 : Convert.ToInt64(maxId);
}

 

执行该方法，或单执行sql语句，用时超过10秒。

尝试将sql改变为如下，执行发现更慢。

select top 1 payid from [dbo].[T_PayApply] NOLOCK where createdTime <‘2017-10-7‘ order by payid desc

 

 

 

变通一下思路，将这个方法的逻辑稍加改变：

private long GetMaxId()
{
    string sqlMaxId = "select top 1 payid from [dbo].[T_PayApply] NOLOCK where payTime >=@minTime";// order by payid
    var sqlParam = new SqlParameter("@minTime", SqlDbType.DateTime);
    sqlParam.Value = threshold_of_upToDate.AddDays(1);
    var maxId = PayCenterSQLHelper.ExecuteScalar(sqlMaxId, sqlParam);
    return maxId == null ? 0 : Convert.ToInt64(maxId) - 1;
}

 

则，方法的执行时间在毫秒级。