小小控制台引发的生产大事件

Posted 2020-12-28 rickyc

反欺诈系统上线后生产一直很稳定，3月份配合别的系统作了一个非常小的改造，上线的时候重启的服务，第二天交易量上来之后，出现好几台服务域链接异常，导致转账交易异常。当时重启服务之后，交易恢复，但一直未找到原因。最近几天配合又配合改造，重启服务之后问题再现，)-: 郁闷到家！ 把日志好好翻翻，nnd，出错交易都没打出日志，定位可能是日志的问题，反反复复折腾了好几次，发现是日志打印到控制台导致瞬时的交易超时，连锁反应导致交易堆积，导致故障发生。升级换版本把打印控制台去掉，一切又恢复稳定。