使用 jdbcTemplate.batchUpdate 混淆批量插入

Posted 2023-03-27

【中文标题】使用 jdbcTemplate.batchUpdate 混淆批量插入

【英文标题】：Batch insert using jdbcTemplate.batchUpdate confusion

【发布时间】：2019-11-18 20:21:41

【问题描述】：

jdbcTemplate.batchUpdate 是否在数据库服务器上执行多个单插入语句或 1 个多值列表插入？

我知道它会立即将完整的查询有效负载发送到服务器，但不确定如何执行。

有人可以解释/帮助吗？

【问题讨论】：

JdbcTemplate 中有 5 种不同的 batchUpdate 方法。他们可能会以 5 种不同的方式进行操作，那么您要问的是哪一种？

我很好奇int[] org.springframework.jdbc.core.JdbcTemplate.batchUpdate(String sql, List<Object[]> batchArgs, int[] argTypes)

您已经知道它会发送整个有效负载？你是什​​么意思。如果数据库支持，批处理最终意味着 1 个具有多个值的 INSERT 语句！

@M.Deinum 不正确。 批处理意味着将多个请求一起发送到数据库。通常，这意味着 1 个语句，该语句的多组参数，但您也可以批处理多个语句，否则 jdbcTemplate.batchUpdate(String... sql) 和它调用的底层 statement.addBatch(String sql) 有什么用？

那是JDBC端，不是服务器端。 JDBC 驱动程序如何实现这一点，不一定是 DB 服务器如何执行它。例如，对于 mysql，驱动程序需要单个 INSERT INTO ... VALUES () 语句，驱动程序会将其重写为 1 个单个 INSERT INTO ... VALUES(), VALUES() 语句。

【参考方案1】：

来自问题：

jdbcTemplate.batchUpdate 是否在数据库服务器上执行多个单插入语句或 1 个多值列表插入？

来自comment：

我很好奇int[] org.springframework.jdbc.core.JdbcTemplate.batchUpdate(String sql, List<Object[]> batchArgs, int[] argTypes)

TL;DR: 它执行 1 个多值列表。

---

Spring Framework 是开源的，因此很容易查看源代码并了解实际情况。

batchUpdate(String sql, List<Object[]> batchArgs, final int[] argTypes)

@Override
public int[] batchUpdate(String sql, List<Object[]> batchArgs, final int[] argTypes) throws DataAccessException 
    if (batchArgs.isEmpty()) 
        return new int[0];
    

    return batchUpdate(
            sql,
            new BatchPreparedStatementSetter() 
                @Override
                public void setValues(PreparedStatement ps, int i) throws SQLException 
                    Object[] values = batchArgs.get(i);
                    int colIndex = 0;
                    for (Object value : values) 
                        colIndex++;
                        if (value instanceof SqlParameterValue) 
                            SqlParameterValue paramValue = (SqlParameterValue) value;
                            StatementCreatorUtils.setParameterValue(ps, colIndex, paramValue, paramValue.getValue());
                        
                        else 
                            int colType;
                            if (argTypes.length < colIndex) 
                                colType = SqlTypeValue.TYPE_UNKNOWN;
                            
                            else 
                                colType = argTypes[colIndex - 1];
                            
                            StatementCreatorUtils.setParameterValue(ps, colIndex, colType, value);
                        
                    
                
                @Override
                public int getBatchSize() 
                    return batchArgs.size();
                
            );

可以看出，它调用了下面的方法。

batchUpdate(String sql, final BatchPreparedStatementSetter pss)

@Override
public int[] batchUpdate(String sql, final BatchPreparedStatementSetter pss) throws DataAccessException 
    if (logger.isDebugEnabled()) 
        logger.debug("Executing SQL batch update [" + sql + "]");
    

    int[] result = execute(sql, (PreparedStatementCallback<int[]>) ps -> 
        try 
            int batchSize = pss.getBatchSize();
            InterruptibleBatchPreparedStatementSetter ipss =
                    (pss instanceof InterruptibleBatchPreparedStatementSetter ?
                    (InterruptibleBatchPreparedStatementSetter) pss : null);
            if (JdbcUtils.supportsBatchUpdates(ps.getConnection())) 
                for (int i = 0; i < batchSize; i++) 
                    pss.setValues(ps, i);
                    if (ipss != null && ipss.isBatchExhausted(i)) 
                        break;
                    
                    ps.addBatch();
                
                return ps.executeBatch();
            
            else 
                List<Integer> rowsAffected = new ArrayList<>();
                for (int i = 0; i < batchSize; i++) 
                    pss.setValues(ps, i);
                    if (ipss != null && ipss.isBatchExhausted(i)) 
                        break;
                    
                    rowsAffected.add(ps.executeUpdate());
                
                int[] rowsAffectedArray = new int[rowsAffected.size()];
                for (int i = 0; i < rowsAffectedArray.length; i++) 
                    rowsAffectedArray[i] = rowsAffected.get(i);
                
                return rowsAffectedArray;
            
        
        finally 
            if (pss instanceof ParameterDisposer) 
                ((ParameterDisposer) pss).cleanupParameters();
            
        
    );

    Assert.state(result != null, "No result array");
    return result;

可以看出，它创建了一个PreparedStatement，进入循环调用addBatch()，最后调用executeBatch()。

所以，简短的回答是：1 个多值列表。

完整的答案是它可能向数据库服务器发送一条 SQL 语句和一个多值列表，但是它完全取决于 JDBC 驱动程序如何实际实现批处理，主要受限于通信协议支持什么，因此确定的唯一方法是跟踪与服务器的通信。

【讨论】：

经过一些测试，我发现不同的结果取决于连接字符串中的 rewriteBatchedStatements = true 属性。对于相同的代码，在 sql 常规日志with rewriteBatchedStatements = false SET autocommit=0 insert into.... insert into.... insert into.... commit with rewriteBatchedStatements = true SET autocommit=0 insert into....values (),(),() commit

中得到以下信息