关于Qt数据库相关开发的一些经验总结

Posted 2021-08-23 feiyangqingyun

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了关于Qt数据库相关开发的一些经验总结相关的知识，希望对你有一定的参考价值。

一、前言

近期花了两个多月时间，将数据库相关的代码重新封装成了各种轮子（这条路必须打通，打通以后，相关项目只需要引入这个组件pri即可），测试了从Qt4.7到Qt6.1的各种版本，测试了odbc、sqlite、mysql、postgresql、sqlserver、oracle、人大金仓等数据库，测试了本地连接、远程连接、阿里云连接等，测试了windows、linux、mac等系统，将所有项目数据库相关的代码全部更新了一遍。能够兼容这么多Qt版本和数据库插件以及测试验证系统，估计全网也没几个人，全国11W Qter开发者中应该也是最多不超过10人。

二、数据库开发经验总结

在数据库相关的应用中，如果仅仅是单机版本，没有特别的需要（比如领导指定，或者需要远程存放数据），强烈建议使用sqlite数据库，这是本人经过无数次的对比测试和N个商业项目应用得出的结论。
Qt天生内置了sqlite数据库，只需要发布的时候带上插件就行（可以看到插件动态库文件比其他几种都要大，那是因为直接将数据库的源码都编译进去了，而其他只编译了中间通信交互的插件源码），其他数据库要么还要带上动态库，要么还需要创建数据源；
速度上，绝对无与伦比的出类拔萃，同样的数据库结构（表结构、索引等完全一致），查询速度和批量更新速度、数据库事务等，速度都是其他几种的至少3倍以上，而且随着数据量的增大对比越发明显；
几千万的数据量完全没问题，而且速度和性能都还可以，不要以讹传讹网上部分菜鸡说的不支持百万以上的数据量，本人亲测亿级别，数据量建议千万级别以下，着重注意数据库表和索引的设计；
其他数据库还要注意版本的区别，ODBC数据源形式还容易出错和执行失败；
sqlite数据库也有几个重大缺点：不支持加密，不支持网络访问，不支持部分数据库高级特性，不支持海量数据（亿级别以上），但是对于绝大部分Qt项目还是足够；
数据库支持友好度大致是 sqlite > postgresql > mysql > odbc ;
以上都是在Qt环境中个人测试得出的结论，结果未必正确，作为参考即可，其他编程环境比如C#、JAVA请忽略，也许差别可能在中间通信的效率造成的；

三、数据库连接说明

Qt5默认提供的数据库插件包括了QSQLITE、QMYSQL、QPSQL、QODBC四种，后期版本比如5.12开始把mysql也移除了（可能是因为开源协议的问题），其中驱动打印中还有个QMYSQL3是表示mysql3旧版本，现在默认一般都mysql5以上，QPSQL7表示postgres7旧版本，现在默认一般都postgres9以上。
根据字面意思很容易理解QSQLITE用来连接sqlite数据库，QMYSQL用来连接mysql数据库，QPSQL用来连接postgres数据库，QODBC理论上可以用来连接任何支持ODBC数据源的数据库，比如access、sqlserver、mysql、postgres、oracle等。
Qt4默认提供的数据库插件只有QSQLITE、QODBC两种，因为QODBC理论上可以用来连接任何支持ODBC数据源的数据库，只是通过了微软的数据源中间件，效率上可能会有损耗，所以在Qt5又新增了其他几个常用数据库的插件比如QMYSQL、QPSQL，而其他数据库由于协议的要求并没有提供对应的插件需要自行编译比如oracle。
Qt内置了sqlite数据库，可以观察到qsqlite4.dll文件大小明显比其他数据库插件大很多，理论上光一个插件应该小很多才对，毕竟sqlite属于小型数据库，所以肯定是将sqlite的源码直接编译到插件了，所以我们在使用sqlite数据库的时候无需带一个sqlite.dll，而使用mysql则需要带上libmysql.dll。
使用mysql、postgres等支持远程访问的数据库的时候，并不需要本地安装数据库，只需要发布程序的时候带上对应数据库的动态库即可，比如mysql对应带上libmysql.dll即可，这样程序指定数据库主机地址就可以连接上，比如阿里云的mysql、postgres等云端数据库。
mysql、posgrest等支持远程连接的数据库，默认安装以后出于安全性考虑只支持本地访问，需要做设置才能支持远程访问，mysql需要增加用户root@%即主机设置为%，postgres需要打开安装目录下的C:\\PostgreSQL\\10\\data\\pg_hba.conf文件，增加一行 host all all 192.168.1.0/24 md5 表示支持192.168.1.1到192.168.1.255的IP访问，同时将C:\\PostgreSQL\\10\\data\\postgresql.conf改成listen_addresses = '*'表示支持所有地址，具体这个的含义可以自行搜索。
mysql数据库通信的默认端口是3306，postgres的是5432，这些端口都可以在安装的时候或者后期更改。
数据库也有位数的区别，比如你连接的是64位的数据库那就需要用64位的Qt以及64位的数据库插件和对应的动态库文件，位数一定要完全一致才行，否则连不上，很多人会在这个地方摔一跤。除了位数的区别可能还要注意版本的区别，毕竟数据库一直在更新升级换代，有些版本变动比较大，未必Qt发布版本的时候对应就支持最新的数据库，所以一般建议用稍微老一点的数据库版本，比如mysql本人一直用5.6，测试到现在Qt5.13版本都支持。
一般的软件默认都只需要连接一个数据库，所以建议直接在程序启动以后就打开好数据库，然后其他需要用到数据库的地方就执行即可，最后程序关闭的时候关闭数据库。很多初学者每次增删改查都打开数据库执行完成操作以后然后关闭数据库，这样效率极其低下。如果需要连接多个数据库，则以数据库连接名称作为区分，Qt支持同时多个数据库连接的，数据库跨线程不安全，要加锁，所以建议在哪个线程使用到的数据库就在那个线程中打开，而不要主线程打开数据库子线程使用数据库，很可能会出问题。Qt5.10开始增加了数据库跨线程使用的安全性检查，运行时会打印提示。
创建数据库、创建表、创建索引、初始化数据等这些都可以通过执行sql语句来实现，强烈建议在对常用的数据量比较多的表创建表的时候要创建索引，在大量的数据查询更新操作的时候先启动数据库事务，执行完成以后提交数据库事务。

四、数据库操作流程代码

void MainWindow::testDb()
{
    //打印当前Qt对应支持的数据库驱动名称
    qDebug() << QSqlDatabase::drivers();

    //创建数据库对象,驱动名称根据打印的填写,"QSQLITE", "QMYSQL", "QMYSQL3", "QODBC", "QODBC3", "QPSQL", "QPSQL7"
    QSqlDatabase db = QSqlDatabase::addDatabase("QPSQL");
    //设置数据库参数,要查看Qt文档是否支持该数据库,一般建议默认的就好不用设置
    //db.setConnectOptions("MYSQL_OPT_RECONNECT=1;MYSQL_OPT_CONNECT_TIMEOUT=1;");
    //设置数据库的主机地址
    db.setHostName("127.0.0.1");
    //设置数据库通信端口,默认值  mysql:3306  postgres:5432  sqlserver:1433
    db.setPort(5433);
    //设置数据库名称,默认值  mysql:mysql  postgres:postgres  sqlserver:master
    //如果是sqlite数据库只需要设置这个参数即可,其余参数都不用设置,因为sqlite不需要主机端口和用户
    //参数内容为数据库文件的路径 db.setDatabaseName("c:/test.db");
    db.setDatabaseName("postgres");
    //设置登录用户名称,默认值  mysql:root  postgres:postgres  sqlserver:sa
    db.setUserName("postgres");
    //设置登录用户密码
    db.setPassword("admin");
    //打开数据库,如果失败打印错误信息
    if (!db.open()) {
        qDebug() << db.lastError();
        return;
    }

    //执行增删改查
    //常规查询语句
    QString sql = "select UserName,UserPwd from UserInfo";
    //带条件+排序+分组的查询语句
    sql = "select UserName,UserPwd from UserInfo where UserName='admin' order by UserName asc group by UserGroup";

    //构建查询对象,传入sql语句查询,可以先判断执行成功与否再来取值
    QSqlQuery query;
    if (query.exec(sql)) {
        //循环取出所有查询结果,对应结果是QVariant类型可以自行to到其他类型
        while(query.next()) {
            qDebug() << query.value(0).toString() << query.value(1).toString();
        }
    }

    //添加数据,拼接字符串的形式比较通用,还有占位符的形式
    sql = "insert into UserInfo(UserName,UserPwd) values('ceshi', '12345')";
    //删除数据,如果不加where条件则表示删除整个表的数据
    sql = "delete from UserInfo where UserName='ceshi'";
    //更新数据,如果不加where条件则表示更新整个表的数据
    sql = "update UserInfo set UserPwd='admin123' where UserName='ceshi'";

    //可以复用上面的QSqlQuery对象,也可以重新new,复用的话需要先调用clear
    query.clear();
    //添加+删除+更新 数据只需要知道执行成功与否就行
    if (!query.exec(sql)) {
        qDebug() << "执行sql语句失败";
    }

    //关闭数据库,程序自动关闭的时候也会关闭,所以只是用一个数据库的情况下无需手动关闭
    db.close();
}

五、数据库综合应用组件

（一）功能特点

同时支持多种数据库比如odbc、sqlite、mysql、postgresql、sqlserver、oracle、人大金仓等。
一个数据库类即可管理本地数据库通信，也支持远程数据库通信等。
数据库线程支持执行各种sql语句，包括单条和批量。
组件中的所有类打印信息、错误信息、执行结果都信号发出去。
集成数据库通用翻页类（负责具体处理逻辑），搭配分页导航控件（负责外观），形成超级牛逼的翻页控件。
集成数据库自动清理类，设定最大记录数后台自动清理早期数据。
集成自定义委托类，支持复选框、文本框、下拉框、日期框、微调框、进度条等。
同时支持Qt4-Qt6，亲测Qt4.6到Qt6.1任意版本，任意系统和编译器。
本组件无故障 360天7乘24小时运行在至少上万个现场，商业级别品质保证。
每个类都对应完整详细的使用示例，注释详细，非常适合阅读学习。
可以作为独立的程序运行，比如自动清理早期数据，同步数据到云端。
全部线程处理，不卡界面，自动重连数据库。
普通测试情况，sqlite数据库，数据库发生器每秒钟插入1000条记录约0.003秒钟，同时自动清理数据类每秒钟删除1000条记录约0.13秒，不同线程互不干扰。