node.js异步模型插入万条excel数据，为了不搞挂系统怎么办？

Posted 2023-03-01 程序员石磊

需求

xx银行需要把历史数据几万条excel数据导入生产，表格内容多样。

分析

• 工作量、时间紧、坑多
• 直接for循环插入会把系统给搞挂。据说其他同事这么干，把生产搞挂了。哈哈！！
• 7.8台集群，没充分利用，扛不起瞬间插入的压力。

方案

• 不调用http请求插入接口，采用框架提供的client api 来减少我分析报文的工作量，同时绕过复杂的登录机制，顺便以面向对象方式操作数据代码可读性更好。
• for循环插入中sleep一下

难点

• client api 是promise异步模型，而且js中不提供sleep，该怎么解决？

测试版本1

function sleep (time:any) 
  return new Promise((resolve) => setTimeout(resolve, time));


for(let i= 0 ;i<1000;i++)
  sleep(1000).then(() => 
    console.info(new Date().pattern("yyyy-MM-dd hh:mm:ss"))
  )


Date.prototype.pattern=function(fmt) 
  var o = 
    "M+" : this.getMonth()+1, //月份
    "d+" : this.getDate(), //日
    "h+" : this.getHours()%12 == 0 ? 12 : this.getHours()%12, //小时
    "H+" : this.getHours(), //小时
    "m+" : this.getMinutes(), //分
    "s+" : this.getSeconds(), //秒
    "q+" : Math.floor((this.getMonth()+3)/3), //季度
    "S" : this.getMilliseconds() //毫秒
  ;
  var week = 
    "0" : "/u65e5",
    "1" : "/u4e00",
    "2" : "/u4e8c",
    "3" : "/u4e09",
    "4" : "/u56db",
    "5" : "/u4e94",
    "6" : "/u516d"
  ;
  if(/(y+)/.test(fmt))
    fmt=fmt.replace(RegExp.$1, (this.getFullYear()+"").substr(4 - RegExp.$1.length));
  
  if(/(E+)/.test(fmt))
    fmt=fmt.replace(RegExp.$1, ((RegExp.$1.length>1) ? (RegExp.$1.length>2 ? "/u661f/u671f" : "/u5468") : "")+week[this.getDay()+""]);
  
  for(var k in o)
    if(new RegExp("("+ k +")").test(fmt))
      fmt = fmt.replace(RegExp.$1, (RegExp.$1.length==1) ? (o[k]) : (("00"+ o[k]).substr((""+ o[k]).length)));
    
  
  return fmt;

测试效果

尴尬看输出时间没有间隔一秒啊，对因为是异步模型吗，在测试环境果然系统挂了。

改进2

var interval = 1 * 1000; // 10 seconds;

for(let i= 0 ;i<1000;i++)
    setTimeout( function (i) 
        console.info(new Date().pattern("yyyy-MM-dd hh:mm:ss"))

    , interval * i);

嗯，一秒执行一次，很安全

解析excel

解析用node-xlsx

const xlsx = require('node-xlsx');      // 读写xlsx的插件
const workSheetsFromFile = xlsx.parse('./a.xlsx', cellDates: true)
    workSheetsFromFile.forEach((workSheet: any) => 
        for (let h = 1; h < workSheet.data.length; h++) 
            let row: any = ;
            for (let c = 0; c < workSheet.data[h].length; c++) 
                let cell = workSheet.data[h][c];
            
        
    );