Sqlite3插入大量数据性能优化

Posted 2020-09-18 liguangsunls

近期做的一个项目数据量很大。文本数据有30多M。这样就遇到一个问题。插入数据库时很慢。

这里记录下，优化方法很easy。

原文地址：http://blog.csdn.net/qqmcy/article/details/32173681

在数据库的sql语句前加："begin;\n"  结束后加“commit;\n”。

         string strSql;
        strSql += "begin;\n";
        for (unsigned int i = 0 ; i < v.Size(); ++i)
        {
            //unsigned int i = 0;
            
            const rapidjson::Value &val = v[i];
            
            auto month = new MothData();
            month->initWithDictionary(val);
           
            strSql += StringUtils::format("INSERT INTO Car_mqpfl(father_code, organ_code, organ_name, report_name, stat_month,mqpfl_dn,mqpfl_qn,mqpfl_sn,xh) VALUES (‘%s‘,    ‘%s‘,       ‘%s‘,       ‘%s‘,        ‘%s‘,       ‘%s‘, ‘%s‘, ‘%s‘ , ‘%d‘);\n",month->father_code.c_str(),month->organ_code.c_str(),month->organ_name.c_str(),month->report_name.c_str(),month->stat_month.c_str(),month->mqpfl_dn.c_str(),month->mqpfl_qn.c_str(),month->mqpfl_sn.c_str(),month->xh);
        }
         strSql+= "commit;\n";
        SqlDB::insertData(strSql);

void SqlDB::insertData(std::string sql)
{
    result = sqlite3_exec(_db, sql.c_str(), nullptr, nullptr, &errMsg);
    
    
    if (result != SQLITE_OK) {
        log("insert error , code = %d, message = %s\n",result,errMsg);
    }
}