Java怎么实现几十万条数据插入(30万条数据插入MySQL仅需13秒)
Posted 共饮一杯无
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Java怎么实现几十万条数据插入(30万条数据插入MySQL仅需13秒)相关的知识，希望对你有一定的参考价值。
本文主要讲述通过MyBatis、JDBC等做大数据量数据插入的案例和结果。
30万条数据插入插入数据库验证
验证的数据库表结构如下：
CREATE TABLE `t_user` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户id',
`username` varchar(64) DEFAULT NULL COMMENT '用户名称',
`age` int(4) DEFAULT NULL COMMENT '年龄',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户信息表';
话不多说，开整！
实体类、mapper和配置文件定义
User实体
/**
* <p>用户实体</p>
*
* @Author zjq
* @Date 2021/8/3
*/
@Data
public class User
private int id;
private String username;
private int age;
mapper接口
public interface UserMapper
/**
* 批量插入用户
* @param userList
*/
void batchInsertUser(@Param("list") List<User> userList);
mapper.xml文件
<!-- 批量插入用户信息 -->
<insert id="batchInsertUser" parameterType="java.util.List">
insert into t_user(username,age) values
<foreach collection="list" item="item" index="index" separator=",">
(
#item.username,
#item.age
)
</foreach>
</insert>
jdbc.properties
jdbc.driver=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://localhost:3306/test
jdbc.username=root
jdbc.password=root
sqlMapConfig.xml
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
<!--通过properties标签加载外部properties文件-->
<properties resource="jdbc.properties"></properties>
<!--自定义别名-->
<typeAliases>
<typeAlias type="com.zjq.domain.User" alias="user"></typeAlias>
</typeAliases>
<!--数据源环境-->
<environments default="developement">
<environment id="developement">
<transactionManager type="JDBC"></transactionManager>
<dataSource type="POOLED">
<property name="driver" value="$jdbc.driver"/>
<property name="url" value="$jdbc.url"/>
<property name="username" value="$jdbc.username"/>
<property name="password" value="$jdbc.password"/>
</dataSource>
</environment>
</environments>
<!--加载映射文件-->
<mappers>
<mapper resource="com/zjq/mapper/UserMapper.xml"></mapper>
</mappers>
</configuration>
不分批次直接梭哈
MyBatis直接一次性批量插入30万条，代码如下：
@Test
public void testBatchInsertUser() throws IOException
InputStream resourceAsStream =
Resources.getResourceAsStream("sqlMapConfig.xml");
SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);
SqlSession session = sqlSessionFactory.openSession();
System.out.println("===== 开始插入数据 =====");
long startTime = System.currentTimeMillis();
try
List<User> userList = new ArrayList<>();
for (int i = 1; i <= 300000; i++)
User user = new User();
user.setId(i);
user.setUsername("共饮一杯无 " + i);
user.setAge((int) (Math.random() * 100));
userList.add(user);
session.insert("batchInsertUser", userList); // 最后插入剩余的数据
session.commit();
long spendTime = System.currentTimeMillis()-startTime;
System.out.println("成功插入 30 万条数据,耗时："+spendTime+"毫秒");
finally
session.close();
可以看到控制台输出：
Cause: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (27759038 >yun 4194304). You can change this value on the server by setting the max_allowed_packet’ variable.
超出最大数据包限制了，可以通过调整max_allowed_packet限制来提高可以传输的内容，不过由于30万条数据超出太多，这个不可取，梭哈看来是不行了 😅😅😅
既然梭哈不行那我们就一条一条循环着插入行不行呢
循环逐条插入
mapper接口和mapper文件中新增单个用户新增的内容如下:
/**
* 新增单个用户
* @param user
*/
void insertUser(User user);
<!-- 新增用户信息 -->
<insert id="insertUser" parameterType="user">
insert into t_user(username,age) values
(
#username,
#age
)
</insert>
调整执行代码如下：
@Test
public void testCirculateInsertUser() throws IOException
InputStream resourceAsStream =
Resources.getResourceAsStream("sqlMapConfig.xml");
SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);
SqlSession session = sqlSessionFactory.openSession();
System.out.println("===== 开始插入数据 =====");
long startTime = System.currentTimeMillis();
try
for (int i = 1; i <= 300000; i++)
User user = new User();
user.setId(i);
user.setUsername("共饮一杯无 " + i);
user.setAge((int) (Math.random() * 100));
// 一条一条新增
session.insert("insertUser", user);
session.commit();
long spendTime = System.currentTimeMillis()-startTime;
System.out.println("成功插入 30 万条数据,耗时："+spendTime+"毫秒");
finally
session.close();
执行后可以发现磁盘IO占比飙升，一直处于高位。
等啊等等啊等，好久还没执行完
先不管他了太慢了先搞其他的，等会再来看看结果吧。
two thousand year later …
控制台输出如下：
总共执行了14909367毫秒，换算出来是4小时八分钟。太慢了。。
👇👇👇还是优化下之前的批处理方案吧
MyBatis实现插入30万条数据
先清理表数据，然后优化批处理执行插入：
-- 清空用户表
TRUNCATE table t_user;
以下是通过 MyBatis 实现 30 万条数据插入代码实现：
/**
* 分批次批量插入
* @throws IOException
*/
@Test
public void testBatchInsertUser() throws IOException
InputStream resourceAsStream =
Resources.getResourceAsStream("sqlMapConfig.xml");
SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);
SqlSession session = sqlSessionFactory.openSession();
System.out.println("===== 开始插入数据 =====");
long startTime = System.currentTimeMillis();
int waitTime = 10;
try
List<User> userList = new ArrayList<>();
for (int i = 1; i <= 300000; i++)
User user = new User();
user.setId(i);
user.setUsername("共饮一杯无 " + i);
user.setAge((int) (Math.random() * 100));
userList.add(user);
if (i % 1000 == 0)
session.insert("batchInsertUser", userList);
// 每 1000 条数据提交一次事务
session.commit();
userList.clear();
// 等待一段时间
Thread.sleep(waitTime * 1000);
// 最后插入剩余的数据
if(!CollectionUtils.isEmpty(userList))
session.insert("batchInsertUser", userList);
session.commit();
long spendTime = System.currentTimeMillis()-startTime;
System.out.println("成功插入 30 万条数据,耗时："+spendTime+"毫秒");
catch (Exception e)
e.printStackTrace();
finally
session.close();
使用了 MyBatis 的批处理操作，将每 1000 条数据放在一个批次中插入，能够较为有效地提高插入速度。同时请注意在循环插入时要带有合适的等待时间和批处理大小，以防止出现内存占用过高等问题。此外，还需要在配置文件中设置合理的连接池和数据库的参数，以获得更好的性能。
在上面的示例中，我们每插入1000行数据就进行一次批处理提交，并等待10秒钟。这有助于控制内存占用，并确保插入操作平稳进行。
五十分钟执行完毕，时间主要用在了等待上。
如果低谷时期执行，CPU和磁盘性能又足够的情况下，直接批处理不等待执行：
/**
* 分批次批量插入
* @throws IOException
*/
@Test
public void testBatchInsertUser() throws IOException
InputStream resourceAsStream =
Resources.getResourceAsStream("sqlMapConfig.xml");
SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);
SqlSession session = sqlSessionFactory.openSession();
System.out.println("===== 开始插入数据 =====");
long startTime = System.currentTimeMillis();
int waitTime = 10;
try
List<User> userList = new ArrayList<>();
for (int i = 1; i <= 300000; i++)
User user = new User();
user.setId(i);
user.setUsername("共饮一杯无 " + i);
user.setAge((int) (Math.random() * 100));
userList.add(user);
if (i % 1000 == 0)
session.insert("batchInsertUser", userList);
// 每 1000 条数据提交一次事务
session.commit();
userList.clear();
// 最后插入剩余的数据
if(!CollectionUtils.isEmpty(userList))
session.insert("batchInsertUser", userList);
session.commit();
long spendTime = System.currentTimeMillis()-startTime;
System.out.println("成功插入 30 万条数据,耗时："+spendTime+"毫秒");
catch (Exception e)
e.printStackTrace();
finally
session.close();
则24秒可以完成数据插入操作：
可以看到短时CPU和磁盘占用会飙高。
把批处理的量再调大一些调到5000，在执行：
13秒插入成功30万条，直接芜湖起飞🛫🛫🛫
JDBC实现插入30万条数据
JDBC循环插入的话跟上面的mybatis逐条插入类似，不再赘述。
以下是 Java 使用 JDBC 批处理实现 30 万条数据插入的示例代码。请注意，该代码仅提供思路，具体实现需根据实际情况进行修改。
/**
* JDBC分批次批量插入
* @throws IOException
*/
@Test
public void testJDBCBatchInsertUser() throws IOException
Connection connection = null;
PreparedStatement preparedStatement = null;
String databaseURL = "jdbc:mysql://localhost:3306/test";
String user = "root";
String password = "root";
try
connection = DriverManager.getConnection(databaseURL, user, password);
// 关闭自动提交事务，改为手动提交
connection.setAutoCommit(false);
System.out.println("===== 开始插入数据 =====");
long startTime = System.currentTimeMillis();
String sqlInsert = "INSERT INTO t_user ( username, age) VALUES ( ?, ?)";
preparedStatement = connection.prepareStatement(sqlInsert);
Random random = new Random();
for (int i = 1; i <= 300000; i++)
preparedStatement.setString(1, "共饮一杯无 " + i);
preparedStatement.setInt(2, random.nextInt(100));<java100万条数据怎么查出重复
参考技术A
把数据表增加索引，提高查询效率，把数据排好序，测试查询速度，使用临时表保存排序好的数据，经过测试，处理插入100w条数据大概413秒，7分钟。
以上是关于Java怎么实现几十万条数据插入(30万条数据插入MySQL仅需13秒)的主要内容，如果未能解决你的问题，请参考以下文章
java 怎么把5万条数据分批插入数据到mysql,之前插1,2万没事, 多了就内存溢出
实现java 中 list集合中有几十万条数据,每100条为一组取出