从 sql server 迁移到大型数据集的 sqlite 的最快方法

Posted 2023-02-16

【中文标题】从 sql server 迁移到大型数据集的 sqlite 的最快方法

【英文标题】：Fastest way to migrate from sql server to sqlite for large datasets

【发布时间】：2012-06-13 04:43:36

【问题描述】：

我有一个超过 3200 万条记录的数据库，我必须将它从 SQL Server 迁移到 Sqlite。

我在本文的帮助下尝试了 SSIS（SQL Server 集成服务） http://dbauman.blogspot.com/2009/03/connecting-to-sqlite-through-ssis.html

但是这个过程非常非常慢，我该如何迁移这些数据？

【问题讨论】：

使用 SSIS 将数据转储到 Sqlite 需要多长时间？通过增强 DFT 的性能，您可以了解一些如何提高速度

在文章中使用了 ODBC，如果您考虑到性能，这通常是一个糟糕的选择；它只是添加了另一个抽象层。在事务中执行大量准备好的 INSERT 命令时，我发现 SQLite 非常快（我手头没有任何统计数据），不幸的是我从未使用过 SSIS。

10000 条记录耗时超过 30 分钟

试一试：-如果您的 sqlite 表中有索引，请尝试删除它们并加载数据，然后重新构建它

【参考方案1】：

有一个 C# 实用程序可以自动执行从 SQL Server DB 到 SQLite DB 的转换 里昂。

Here是代码项目文章。

【参考方案2】：

我建议在 SQLite 中使用事务，否则索引是在添加每条新记录时构建的，而不是在完成一个工作块时。

由于我不了解您的数据结构，因此很难给出具体建议，但编写一个可以从 SQLServer 读取并写入 SQLite 的小型应用程序通常是迁移的实际开始。迁移后有一个完整的包装器，您可以在将来使用它。

【讨论】：

正如@Damith 在本文中提到的解决方案：codeproject.com/Articles/26932/…