使用kettle向mysql插入数据~ 每秒10条...应该是mysql的问题。怎么能提高效率么~

Posted 2023-03-23

如果你用的是INNODB数据库，有一个最简单有效的调整，就是将INI文件里面的下面参数调整：
原始：
innodb_flush_log_at_trx_commit=1
调整为：
innodb_flush_log_at_trx_commit=2
具体什么意思就不解释了，试了效果好再去找度娘 参考技术A 1.看sql查询的效率 查询都慢的话肯定是你写sql的问题了 要进行sql的优化了 具体怎么优化去百度下吧
2.如果不是sql查询效率的问题。每天都有200万条？如果这样的话可以考虑换个工具之类的
如果是历史数据比较大的话可以考虑手动把数据插入进去 以后新数据的插入在用kettle来完成
或者你先导入13年的数据，其他年份的历史数据再用kettle慢慢跑
希望能帮到你 参考技术B 你是从一个数据库导入数据到另一个数据库还是什么操作？先要看看是否有必要用到kettle

使用gorm向mysql中插入一条数据

【中文标题】使用gorm向mysql中插入一条数据

【英文标题】：Insert a piece of data into mysql by using gorm

【发布时间】：2021-12-20 12:21:47

【问题描述】：

我想在我的数据库（MySQL）中插入一条数据。但是，我失败了。

错误 1364：字段 'envelopeId' 没有默认值。

我发现有人说这是因为主键是int类型，没有设置自增，其实这是varchar类型。

    var envelope Envelope
    envelope = Envelope
        "100000000001",
        1,
        0,
        100,
    
    fmt.Println(db.Create(&envelope).Error)

【问题讨论】：

在相关表上显示结构定义和show create table 的输出。 “这实际上是一个 varchar 类型”你为什么不使用自动递增的 bigint 作为主键？

请提供足够的代码，以便其他人更好地理解或重现问题。

【参考方案1】：

此错误意味着您试图将NULL 值插入到不可为空的字段中，并且由于也没有指定默认值，因此它会给您带来错误。我假设"100000000001" 是您的主键，如果是这种情况，它已在您的结构中设置，您需要检查该字段是否设置了gorm:"column:envelopeId" 标记。 convention GORM 将使用蛇形大小写作为列名，而不是像您在数据库中使用的驼峰形大小写。