如何使用 sqlite 批量插入超过 1000 条记录?

Posted

技术标签:

【中文标题】如何使用 sqlite 批量插入超过 1000 条记录?【英文标题】:How to do bulk insert for over 1000 records using sqlite? 【发布时间】:2010-08-10 10:07:19 【问题描述】:

我正在尝试使用 sqlite 在数据库中插入 11000 条记录,但是尽管程序执行没有错误,但没有插入值。

Dim s As New System.Text.StringBuilder("")

sql = "insert into mulRecords1 (symbol, date_p,open_p,high_p,low_p,close_p,vol_p,oi_p) values ('@symbol', '@date_p','@open_p', '@high_p', '@low_p', '@close_p', '@vol_p', '@oi_p')"

cmd = New SQLiteCommand(sql, cnLite)
cmd.CommandText = sql

For i As Integer = 1 To 11000

cmd.Parameters.AddWithValue("@symbol", "test")
cmd.Parameters.AddWithValue("@date_p", "2010-08-20 12:00:00")
cmd.Parameters.AddWithValue("@open_p", 10)
cmd.Parameters.AddWithValue("@high_p", 10)
cmd.Parameters.AddWithValue("@low_p", 10)
cmd.Parameters.AddWithValue("@close_p", 10)
cmd.Parameters.AddWithValue("@vol_p", 10)
cmd.Parameters.AddWithValue("@oi_p", 10)

Next

cmd.ExecuteNonQuery()

我应该如何插入?

【问题讨论】:

【参考方案1】:

您的循环只是一遍又一遍地添加参数,然后执行一次插入,您需要在每次循环迭代时执行查询,例如

Dim s As New System.Text.StringBuilder("")

sql = "insert into mulRecords1 (symbol, date_p,open_p,high_p,low_p,close_p,vol_p,oi_p) values ('@symbol', '@date_p','@open_p', '@high_p', '@low_p', '@close_p', '@vol_p', '@oi_p')"



For i As Integer = 1 To 11000

cmd = New SQLiteCommand(sql, cnLite)
cmd.CommandText = sql

cmd.Parameters.AddWithValue("@symbol", "test")
cmd.Parameters.AddWithValue("@date_p", "2010-08-20 12:00:00")
cmd.Parameters.AddWithValue("@open_p", 10)
cmd.Parameters.AddWithValue("@high_p", 10)
cmd.Parameters.AddWithValue("@low_p", 10)
cmd.Parameters.AddWithValue("@close_p", 10)
cmd.Parameters.AddWithValue("@vol_p", 10)
cmd.Parameters.AddWithValue("@oi_p", 10)

cmd.ExecuteNonQuery()

Next

这也假设您确实想要插入 11000 个相同的行。

【讨论】:

【参考方案2】:

此时你只需添加参数11000次,然后执行一次命令。

我怀疑您需要将 cmd.ExecuteNonQuery() 放入循环中(在 Next 之前)。

【讨论】:

【参考方案3】:

有几个问题。

您需要在 for 循环中调用 ExecuteNonQuery。如果要为每次迭代添加新参数值,请确保在每次迭代中清除参数列表。

For i As Integer = 1 To 11000
    cmd.Parameters.Clear()

    // Add parameter values (I removed for clarity)

    cmd.ExecuteNonQuery()
Next

从参数周围删除单引号 (')。应该是

sql = "insert into mulRecords1 (symbol, date_p,open_p,high_p,low_p,close_p,vol_p,oi_p) values (@symbol, @date_p,@open_p, @high_p, @low_p, @close_p, @vol_p, @oi_p)"

我为我的代码中的 C# 注释道歉,无法使语法突出显示与 vb 注释一起使用。

【讨论】:

【参考方案4】:

我的猜测是 cmd.ExecuteNonQuery() 应该在下一个之前。现在可能只插入最后一条记录。

此外,您插入的是所有相同的行,我看不出同一行有 11K 次的意义,这可能是一个错误?

【讨论】:

【参考方案5】:

cmd.ExecuteNonQuery() 是否在每次迭代中执行?

【讨论】:

【参考方案6】:

考虑将您的 For 块更改为

For i As Integer = 1 To 11000

cmd.Parameters.AddWithValue("@symbol", "test")
cmd.Parameters.AddWithValue("@date_p", "2010-08-20 12:00:00")
cmd.Parameters.AddWithValue("@open_p", 10)
cmd.Parameters.AddWithValue("@high_p", 10)
cmd.Parameters.AddWithValue("@low_p", 10)
cmd.Parameters.AddWithValue("@close_p", 10)
cmd.Parameters.AddWithValue("@vol_p", 10)
cmd.Parameters.AddWithValue("@oi_p", 10)

cmd.ExecuteNonQuery()

cmd.Parameters.Clear()

Next

【讨论】:

以上是关于如何使用 sqlite 批量插入超过 1000 条记录?的主要内容,如果未能解决你的问题,请参考以下文章

如何提高效率SQLite大数据量操作效率

Qt SQLite 批量插入优化(SQLite默认将每条语句看成单独的事务)good

关于oracle in 的1000条限制

使用事务的 Android SQLite 批量插入

SQLite数据库如何批量插入数据?

使用插入批量插入...在sqlite中选择?