无法将大型数据集加载到 h2 数据库中

Posted 2023-04-01

【中文标题】无法将大型数据集加载到 h2 数据库中

【英文标题】：Failing to load large dataset into h2 database

【发布时间】：2011-02-03 19:20:07

【问题描述】：

问题是：在我的公司，我们有一个大型数据库，我们想在其中执行一些自动化操作。为了测试我们获得了大约 6 个 10MB 大小的 csv 文件的数据的小样本。我们想使用 H2 来测试我们的程序在其中的结果。 H2 似乎与我们以前的 cvs 配合得很好，尽管它们最多有 1000 个条目。当涉及到我们的任何 10MB 文件时，命令

insert into myschema.mytable (select * from csvread('mycsvfile.csv'));

报告失败，因为其中一个注册表被认为是重复的并且违反了我们的主键约束。

Unique index or primary key violation: "PRIMARY_KEY_6 ON MYSCHEMA.MYTABLE(DATETIME, LARGENUMBER, KIND)"; SQL statement:
insert into myschema.mytable (select * from csvread('src/test/resources/h2/data/mycsvfile.csv')) [23001-148] 23001/23001

将 mycsvfile.csv 分成更小的部分，我可以看到在插入大约 10000 行后问题开始出现（尽管数量取决于我使用的数据）。但是，如果我将文件分成几部分然后单独运行命令，我可以插入超过 10000 行。但即使我设法手动插入所有数据，我也需要一种自动化方法来填充数据库。

由于运行命令不会给我导致问题的行，我猜测问题可能是 csvread 例程中的一些缓存。

然后我创建了一个小型 java 程序，可以手动将数据插入 H2 数据库。无论我是否批处理命令，关闭并打开连接 1000 行 h2 报告我试图在数据库中复制一个条目。

org.h2.jdbc.JdbcSQLException: Unique index or primary key violation: "PRIMARY_KEY_6 ON MYSCHEMA.MYTABLE(DATETIME, LARGENUMBER, KIND)"; SQL statement:
INSERT INTO myschema.mytable VALUES ( '1997-10-06 01:00:00.0',25485116,1.600,0,18 )  [23001-148]

使用 emacs 对该注册表进行正常搜索，我可以发现该注册表没有重复，因为 datetime 列在整个数据集中是唯一的。

由于该公司出售该信息，因此我无法提供该数据供您测试。但这是我的表定义的样子。

create table myschema.mytable (
   datetime timestamp,
   largenumber numeric(8,0) references myschema.largenumber(largecode),
   value numeric(8,3) not null,
   flag numeric(1,0) references myschema.flag(flagcode),
   kind smallint references myschema.kind(kindcode),
   primary key (datetime, largenumber, kind)
);

这就是我们的 csv 的样子：

datetime,largenumber,value,flag,kind
1997-06-11 16:45:00.0,25485116,0.710,0,18
1997-06-11 17:00:00.0,25485116,0.000,0,18
1997-06-11 17:15:00.0,25485116,0.000,0,18
1997-06-11 17:30:00.0,25485116,0.000,0,18

还有填充我们测试数据库的java代码（原谅我丑陋的代码，我绝望了:)

private static void insertFile(MyFile file) throws SQLException 
    int updateCount = 0;
    ResultSet rs = Csv.getInstance().read(file.toString(), null, null);
    ResultSetMetaData meta = rs.getMetaData();
    Connection conn = DriverManager.getConnection(
            "jdbc:h2:tcp://localhost/mytestdatabase", "sa", "pass");
    rs.next();
    while (rs.next()) 
        Statement stmt = conn.createStatement();
        StringBuilder sb = new StringBuilder();
        for (int i = 0; i < meta.getColumnCount(); i++) 
            if (i == 0)
                sb.append("'" + rs.getString(i + 1) + "'");
            else
                sb.append(rs.getString(i + 1));
            sb.append(',');
        
        updateCount++;
        if (sb.length() > 0)
            sb.deleteCharAt(sb.length() - 1);

        stmt.execute(String.format(
                "INSERT INTO myschema.mydatabase VALUES ( %s ) ",
                sb.toString()));
        if (updateCount == 1000) 
            conn.close();
            conn = DriverManager.getConnection(
                    "jdbc:h2:tcp://localhost/mytestdatabase", "sa", "pass");
            updateCount = 0;
        
    
    if (!conn.isClosed()) 
        conn.close();
    
    rs.close();

如果需要，我很乐意提供更多信息。

编辑

@Randy 我总是在运行命令之前检查数据库是否干净，在我的 java 程序中，我有一个例程可以从无法插入的文件中删除所有数据。

 select * from myschema.mytable where largenumber  = 25485116;
 DATETIME   LARGENUMBER     VALUE   FLAG    KIND  
 (no rows, 8 ms)

【问题讨论】：

也许您可以在您的 java 代码中添加一些调试打印输出，以指定导致失败的确切行。然后，检查数据库（不是源文件）中的现有记录。也许您正在截断日期时间？

能否创建表没有主键约束，然后运行：select datetime, largenumber, kind, count(*) from mytable group by datetime, largenumber, kind having count(*) > 1 - 这样你可以更容易找到问题的根本原因 - 然后分析那些行？顺便说一句，使用一个语句create table ... as select ... 比分开两个语句create table 然后insert 更快。

【参考方案1】：

我唯一能想到的是表上有一个触发器将时间戳设置为“现在”。虽然这不能解释为什么你在几行上就成功了，但它可以解释为什么主键被违反了。