mysql大批量插入数据的正确做法

Posted 2023-01-06 赵广陆

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了mysql大批量插入数据的正确做法相关的知识，希望对你有一定的参考价值。

1 批量插入和单条插入比较

如何快速的向数据库中插入已知的1000万条数据

假设这1000W条数据在同一个集合里，那么将这个集合进行遍历，循环1000W次，结合数据库编程技术，如JDBC，就可以插入数据库，这么简单的操作，显然不是正确答案…

List<User> list = findAllUser();
Statement stat = conn.createStatement();
for (User u : list) 
	String sql = "INSERT INTO t_user (uname,age,email) VALUE ('"
                  +u.getUsername()+"',"+u.getAge()+",'"+u.getEmail()+"')";
	stat.addBatch(sql);


stat.executeBatch();
INSERT INTO t_user
      (uname,upwd,age,email)
VALUE 
      ('root1','123456',15,'root111@qq.com'),

      ('root2','123456',18,'root222@qq.com')，

      ('root3','123456',26,'root333@qq.com')，
      ....

当两种方法配合使用，可以使用每条SQL语句插入100条数据，批处理每次发送1000条这样的数据，共循环100次即可。
理论上来说，批处理操作不建议一次性超过【5000】，每条SQL语句根据具体需求调整，不建议超过【100】，可以调整循环次数来改善效率。

下面为测试代码：

1.1 测试普通插入

@Test

public void testInsert() 

	UserDAO dao = new UserDAO();
	long t1 = System.currentTimeMillis();

	for(int i=0;i<10000000;i++) 

	    dao.insert(


                "INSERT INTO t_user (uname,pwd,age,email) VALUES ('root','123',15,'root@qq.com')");

	
	long t2 = System.currentTimeMillis();
	int time = (int) ((t2-t1)/1000);
	System.out.println("共耗时：" + time +"秒")

测试结果：
在尝试了几次，都被各种意外打断之后，我决定没有必要把数据全部插完，因为实在是太多了，不多说，上图吧

1.2 测试批处理配合拼接SQL语句插入

@Test



public void testBatch() throws SQLException 
	Connection conn = DBUtils.getConn();
	Statement stat = conn.createStatement();
long t1 = System.currentTimeMillis();

	for(int k=0;k<100;k++) 
	for (int i=0;i<1000;i++) 
			StringBuilder sql =new StringBuilder();
			sql.append("INSERT INTO t_user (uname,pwd,age,email) VALUES ");
			for (int j = 0; j < 100; j++) 				sql.append("('root','123',15,'root@qq.com'),");

			
			stat.addBatch(sql.toString().substring(0,sql.lastIndexOf(",")))
		

		stat.executeBatch();
	

	long t2 = System.currentTimeMillis();
	int time = (int) ((t2-t1)/1000);
	System.out.println("共耗时：" + time +"秒");