线上问题复盘

Posted 2020-12-01 jtianlin

1.事件回顾：

   2019.10.29日上线反欺诈优化功能，10月30日上午收到异常监控报警，随后业务反馈属地案调和总部案调无法正常提交。经核实，是因为属地案调和总部案调提交时，由于没有验证案调是否为总部、是否为补充调查。导致调用了发往属地代码，引发系统异常。BUG于10月30日中午一点半处理完毕。

2. 导致BUG的主要原因：

    1).新功能的开发，影响了老功能的流程。开发和测试对之前功能缺少回归测试，未及时发现问题。

    2).上线日前进行了主要代码的改动，未能及时评估风险。

    3).10月30日下午2点15合并master代码，合并master代码后，开发和测试参与了新需求评审，时间紧张，缺少完整回归测试。

    4).项目上线后，缺少线上验证，导致未及时发现问题。

3. 如何避免类似问题发生？

    1).开发增加对老功能的单元测试，每次新功能开发完毕后，通过单元测对老功能进行回归。

    2).测试增加自动化测试，对主流程每次上线前进行回归测试。

    3).产品经理在新功能稳定后，在测试环境对新功能验证，避免遗漏、BUG等。

   4).由产品经理牵头，联系业务人员，协助进行线上验证，及时发现问题，及时修正。

   5).新功能开发完毕后，开发和测试一起确认回归测试范围。重点测试可能影响的功能。

4. 如何快速解决线上问题？

    1).加强日志监控，及时发现问题，在业务反馈前处理掉问题。

    2).以不影响业务功能为主，发现问题后，快速解决，快速上线。