node.js异步模型插入万条excel数据,为了不搞挂系统怎么办?
Posted 程序员石磊
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了node.js异步模型插入万条excel数据,为了不搞挂系统怎么办?相关的知识,希望对你有一定的参考价值。
需求
xx银行需要把历史数据几万条excel数据导入生产,表格内容多样。
分析
- 工作量、时间紧、坑多
- 直接for循环插入会把系统给搞挂。据说其他同事这么干,把生产搞挂了。哈哈!!
- 7.8台集群,没充分利用,扛不起瞬间插入的压力。
方案
- 不调用http请求插入接口,采用框架提供的client api 来减少我分析报文的工作量,同时绕过复杂的登录机制,顺便以面向对象方式操作数据代码可读性更好。
- for循环插入中sleep一下
难点
- client api 是promise异步模型,而且js中不提供sleep,该怎么解决?
测试版本1
function sleep (time:any)
return new Promise((resolve) => setTimeout(resolve, time));
for(let i= 0 ;i<1000;i++)
sleep(1000).then(() =>
console.info(new Date().pattern("yyyy-MM-dd hh:mm:ss"))
)
Date.prototype.pattern=function(fmt)
var o =
"M+" : this.getMonth()+1, //月份
"d+" : this.getDate(), //日
"h+" : this.getHours()%12 == 0 ? 12 : this.getHours()%12, //小时
"H+" : this.getHours(), //小时
"m+" : this.getMinutes(), //分
"s+" : this.getSeconds(), //秒
"q+" : Math.floor((this.getMonth()+3)/3), //季度
"S" : this.getMilliseconds() //毫秒
;
var week =
"0" : "/u65e5",
"1" : "/u4e00",
"2" : "/u4e8c",
"3" : "/u4e09",
"4" : "/u56db",
"5" : "/u4e94",
"6" : "/u516d"
;
if(/(y+)/.test(fmt))
fmt=fmt.replace(RegExp.$1, (this.getFullYear()+"").substr(4 - RegExp.$1.length));
if(/(E+)/.test(fmt))
fmt=fmt.replace(RegExp.$1, ((RegExp.$1.length>1) ? (RegExp.$1.length>2 ? "/u661f/u671f" : "/u5468") : "")+week[this.getDay()+""]);
for(var k in o)
if(new RegExp("("+ k +")").test(fmt))
fmt = fmt.replace(RegExp.$1, (RegExp.$1.length==1) ? (o[k]) : (("00"+ o[k]).substr((""+ o[k]).length)));
return fmt;
测试效果
尴尬看输出时间没有间隔一秒啊,对因为是异步模型吗,在测试环境果然系统挂了。
改进2
var interval = 1 * 1000; // 10 seconds;
for(let i= 0 ;i<1000;i++)
setTimeout( function (i)
console.info(new Date().pattern("yyyy-MM-dd hh:mm:ss"))
, interval * i);
嗯,一秒执行一次,很安全
解析excel
解析用node-xlsx
const xlsx = require('node-xlsx'); // 读写xlsx的插件
const workSheetsFromFile = xlsx.parse('./a.xlsx', cellDates: true)
workSheetsFromFile.forEach((workSheet: any) =>
for (let h = 1; h < workSheet.data.length; h++)
let row: any = ;
for (let c = 0; c < workSheet.data[h].length; c++)
let cell = workSheet.data[h][c];
);
以上是关于node.js异步模型插入万条excel数据,为了不搞挂系统怎么办?的主要内容,如果未能解决你的问题,请参考以下文章
node.js异步模型插入万条excel数据,为了不搞挂系统怎么办?
node.js异步模型插入万条excel数据,为了不搞挂系统怎么办?
node.js异步模型插入万条excel数据,为了不搞挂系统怎么办?