HSQLDB Bulk Load 大量数据

Posted 2023-04-19

【中文标题】HSQLDB Bulk Load 大量数据

【英文标题】：HSQLDB Bulk Load of huge data

【发布时间】：2018-04-06 15:58:12

【问题描述】：

我有一个 10GB 大小和 5 亿行的数据集。它在 CSV 文件中。如何在最短的时间内有效地将这些数据加载到表中。

任何帮助将不胜感激

【参考方案1】：

使用 HSQLDB，必须在加载数据之前在表上创建约束和索引。

在加载几千行的每一块后提交数据。

如果表是 CACHED（基于磁盘）表，并且您可以使用大量内存来加载数据，那么请按照设置大缓存参数的指南并以较大的最大内存分配启动 Java 进程。

这将花费很长时间，与表上的约束/索引数量成正比。

使用 PreparedStatement 会稍微加快速度，但不会加快速度。

【讨论】：

作为一对一记录插入会不会需要很长时间？