NodeJS，mysql2/promise，连接池执行，将数据复制到另一个数据库

Posted 2023-04-04

参考技术A

产品开发了新版本，数据不兼容，新版本的数据结构比旧版本复杂一些，目前，旧版本是在线系统，需要将旧版本程序的数据适配至新版本程序。数据库是mysql，这里选择使用NodeJS来完成。

使用的版本：

需要的依赖

案例一，单表的数据同步：

databasemysqlmysql.tools.js

databasemysql2mysql2.tools.js

syncdata0.basesyncData.js

syncdata1.manufactormain.manufactor.js

syncdata2.brandmain.brand.js

syncdata3.categorymain.category.js

案例二，关联表的数据同步：

databasemysql2mysql2.promise.tools.js

syncdata4.general_namemain.general_name.js

syncdata5.goodsmain.goods.js

nodejs 优雅的连接 mysql

1.mysql 及 promise-mysql

nodejs 连接 mysql 有成熟的npm包 mysql ,如果需要promise，建议使用 promise-mysql；

npm：https://www.npmjs.com/package/mysql  

          https://www.npmjs.com/package/promised-mysql

在实际开发中，单独的connection 并不能满足业务需要，需要使用连接池进行连接的建立及释放，promise-mysql 建立连接池非常简单：

 1 const config = {
 2     host:‘xxxxxx‘,  // ip也行域名也行
 3     user:‘root‘,
 4     password:‘123456‘,
 5     connectionLimit:30,
 6     database:‘movie‘, // database
 7     port:‘8306‘
 8 };
 9 // 建立连接池
10 const pool = mysql.createPool(config);
11 // 使用pool.query 快速连接执行sql
12 pool.query(‘xxxx‘);
13  
14 // 用using/dispsoer 模式构建自动释放资源的连接
15 function getSqlConnection(){
16     return pool.getConnection().disposer((c)=>{
17         pool.releaseConnection(c);
18     });
19 }
20 // 需要使用bluebird 封装具有dispsoer功能的promise对象
21 function query(sql){
22     return Promise.using(getSqlConnection(),(con)=>{
23         return sql?con.query(sql):con;
24     })
25 }

经过对mysql 连接的promise封装，我们可以使用async/await方式进行愉快的编程

2.通过promise-mysql执行事务

通过connection对象的beginTransaction、commit 及 rollback 即可实现

 1 async function execAffairs(){
 2     console.log(‘begin execAffairs‘);
 3      // 写事务
 4     const conn = await query();
 5     await conn.beginTransaction(); // begin;
 6     try{
 7         await conn.query(‘select * from movie_detail where m_id=242167 for update‘);
 8         await conn.query(‘update movie_detail set m_record=7.5 where m_id=242167‘);
 9         await conn.commit();// commit
10         console.log(‘commit 完毕‘);
11     } catch(e){
12         console.log(‘事务出错‘,e);
13         await conn.rollback();
14     }
15    /******
16      // 无需release
17      finally{
18         conn.release();
19      }
20    */
21 }

由于本示例使用了promise-mysql 的disposer 模式，所以无需额外处理 连接的 release

 

相关代码请见：https://github.com/JhoneLee/nodeScheduleMySql