使用jdbc在mysql数据库中插入5000条记录需要太多时间

Posted 2023-02-25

【中文标题】使用jdbc在mysql数据库中插入5000条记录需要太多时间

【英文标题】：it takes too much time to insert 5000 record in mysql database using jdbc

【发布时间】：2020-09-22 11:27:54

【问题描述】：

我使用 jdbc、mysql-connector-java-8.0.20 和 xampp 作为 mysql 服务器在数据库中插入 5000 条记录 我使用this link 进行测试，这是我测试的代码

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.util.Random;

public class test 
    public static void main(String[] args) 
        try 
            Class.forName("com.mysql.jdbc.Driver");
            Connection con = DriverManager.getConnection("jdbc:mysql://localhost:3306/sonoo", "root", "");
            // here sonoo is database name, root is username and password
            String sql = "insert into emp(name, age) values(?, ?)";
            long startTime = System.currentTimeMillis();
            for (int i = 0; i < 5000; i++) 
                PreparedStatement ps = con.prepareStatement(sql);
                Random rnd = new Random();
                int age = rnd.nextInt(60);
                byte [] name = new byte[30];
                rnd.nextBytes(name);
                ps.setString(1, name.toString());
                ps.setInt(2, age);
                ps.executeUpdate();
                System.out.println(i);
            
            long endTime = System.currentTimeMillis();
            System.out.println("taken time: " + (endTime - startTime));
            con.close();
         catch (Exception e) 
            System.out.println(e);
        
    

输出是：

花费时间：315309

【问题讨论】：

将PreparedStatement ps = con.prepareStatement(sql);移到for之外。

【参考方案1】：

首先，也是最简单的，在循环之前准备PreparedStatement 一次。喜欢，

PreparedStatement ps = con.prepareStatement(sql);
for (int i = 0; i < 5000; i++) 
    Random rnd = new Random();
    int age = rnd.nextInt(60);
    byte[] name = new byte[30];
    rnd.nextBytes(name);
    ps.setString(1, name.toString());
    ps.setInt(2, age);
    ps.executeUpdate();
    System.out.println(i);

其次，如果还不够快，请使用批处理。喜欢，

PreparedStatement ps = con.prepareStatement(sql);
for (int i = 0; i < 5000; i++) 
    Random rnd = new Random();
    int age = rnd.nextInt(60);
    byte[] name = new byte[30];
    rnd.nextBytes(name);
    ps.setString(1, name.toString());
    ps.setInt(2, age);
    ps.addBatch();
    System.out.println(i);

ps.executeBatch();

顺便说一句，使用Arrays.toString(name);（您当前正在存储哈希码）。

【讨论】：

是的，批处理可以有所作为。 @MuhammadSayed 我会测量有无它的结果。

循环执行快，但是executeBatch耗时太长

@MuhammadSayed 首先，这些是我知道的加快速度的唯一选项（在代码中）。二、多长算多长？第三，您的端点之间存在什么样的网络？

花费时间：304307，我没有得到你的第三个问题