像数据库一次性插入10w条数据，怎么插入效率快啊！

Posted 2023-05-05

谢谢了哈

在SQL Server 中插入一条数据使用Insert语句，但是如果想要批量插入一堆数据的话，循环使用Insert不仅效率低，而且会导致SQL一系统性能问题

 下面介绍SQL Server支持的两种批量数据插入方法：Bulk和表值参数(Table-Valued Parameters)。

bulk方法主要思想是通过在客户端把数据都缓存在Table中，然后利用SqlBulkCopy一次性把Table中的数据插入到数据库

代码如下：

public static void BulkToDB(DataTable dt)

SqlConnection sqlConn = new SqlConnection(
ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);
SqlBulkCopy bulkCopy = new SqlBulkCopy(sqlConn);
bulkCopy.DestinationTableName = "BulkTestTable";
bulkCopy.BatchSize = dt.Rows.Count;
try

sqlConn.Open();
    if (dt != null && dt.Rows.Count != 0)
    bulkCopy.WriteToServer(dt);

catch (Exception ex)

throw ex;

finally

sqlConn.Close();
if (bulkCopy != null)
bulkCopy.Close();


public static DataTable GetTableSchema()

DataTable dt = new DataTable();
dt.Columns.AddRange(new DataColumn[]
new DataColumn("Id",typeof(int)),
new DataColumn("UserName",typeof(string)),
    new DataColumn("Pwd",typeof(string)));

return dt;

static void Main(string[] args)

Stopwatch sw = new Stopwatch();
for (int multiply = 0; multiply < 10; multiply++)

DataTable dt = Bulk.GetTableSchema();
for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)

DataRow r = dt.NewRow();
r[0] = count;
r[1] = string.Format("User-0", count * multiply);
r[2] = string.Format("Pwd-0", count * multiply);
dt.Rows.Add(r);

sw.Start();
Bulk.BulkToDB(dt);
sw.Stop();
Console.WriteLine(string.Format("Elapsed Time is 0 Milliseconds", sw.ElapsedMilliseconds));

Console.ReadLine();

参考技术A 1、导入数据，数据结构一样可直接导入，稍微不同或需要处理，可以用一个中间程序2、数据库脚本数据导入3、如果是执行代码导入，神马都是浮云，只能做到优化开一次数据库连接connection对象而Statement对象，创建一个，插入一个，顺便释放Statement对象的资源最后关闭connection对象用事务一次性提交，汗一个10W条。 参考技术B 不用存储过程也行declare @i intset @i=0;while @i<100000begin insert into userinfo values('admin','123') set @i=@i+1end; 参考技术C 存储过程

使用kettle向mysql插入数据~ 每秒10条...应该是mysql的问题。怎么能提高效率么~

如果你用的是INNODB数据库，有一个最简单有效的调整，就是将INI文件里面的下面参数调整：
原始：
innodb_flush_log_at_trx_commit=1
调整为：
innodb_flush_log_at_trx_commit=2
具体什么意思就不解释了，试了效果好再去找度娘 参考技术A 1.看sql查询的效率 查询都慢的话肯定是你写sql的问题了 要进行sql的优化了 具体怎么优化去百度下吧
2.如果不是sql查询效率的问题。每天都有200万条？如果这样的话可以考虑换个工具之类的
如果是历史数据比较大的话可以考虑手动把数据插入进去 以后新数据的插入在用kettle来完成
或者你先导入13年的数据，其他年份的历史数据再用kettle慢慢跑
希望能帮到你 参考技术B 你是从一个数据库导入数据到另一个数据库还是什么操作？先要看看是否有必要用到kettle