Sqlite3插入大量数据性能优化

Posted liguangsunls

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Sqlite3插入大量数据性能优化相关的知识,希望对你有一定的参考价值。

近期做的一个项目数据量很大。文本数据有30多M。这样就遇到一个问题。插入数据库时很慢。

这里记录下,优化方法很easy。

原文地址:http://blog.csdn.net/qqmcy/article/details/32173681


在数据库的sql语句前加:"begin;\n"  结束后加“commit;\n”。


         string strSql;
        strSql += "begin;\n";
        for (unsigned int i = 0 ; i < v.Size(); ++i)
        {
            //unsigned int i = 0;
            
            const rapidjson::Value &val = v[i];
            
            auto month = new MothData();
            month->initWithDictionary(val);
           
            strSql += StringUtils::format("INSERT INTO Car_mqpfl(father_code, organ_code, organ_name, report_name, stat_month,mqpfl_dn,mqpfl_qn,mqpfl_sn,xh) VALUES (‘%s‘,    ‘%s‘,       ‘%s‘,       ‘%s‘,        ‘%s‘,       ‘%s‘, ‘%s‘, ‘%s‘ , ‘%d‘);\n",month->father_code.c_str(),month->organ_code.c_str(),month->organ_name.c_str(),month->report_name.c_str(),month->stat_month.c_str(),month->mqpfl_dn.c_str(),month->mqpfl_qn.c_str(),month->mqpfl_sn.c_str(),month->xh);
        }
         strSql+= "commit;\n";
        SqlDB::insertData(strSql);

void SqlDB::insertData(std::string sql)
{
    result = sqlite3_exec(_db, sql.c_str(), nullptr, nullptr, &errMsg);
    
    
    if (result != SQLITE_OK) {
        log("insert error , code = %d, message = %s\n",result,errMsg);
    }
}







以上是关于Sqlite3插入大量数据性能优化的主要内容,如果未能解决你的问题,请参考以下文章

sqlite3 多线程和锁 ,优化插入速度及性能优化

关于数据库优化3——在数据库插入更新大量数据的性能优化

SQLITE3插入大量数据,效率翻百倍

Sqlite3插入性能测试

[转载]SQLite3性能优化

Sqlite3常用的插入方法及性能测试