临战预演 618备战全链路压测开启

Posted 2021-04-24 京东零售技术

军事演习，简称军演，是在预定情况下进行的作战指挥和行动的演练，是部队在完成理论学习和基础训练之后实施的近似实战的综合性训练，是军事训练的高级阶段。

4月21日凌晨00:30 分正式开始的“618备战ForceBot预军演”就是一次“实战模拟”。

新装备ForceBot

中国自商周时期起，人们就将军事演习作为军队训练的重要方法，以围猎形式演练阵法。为了让618技术保障万无一失，也需要进行多轮“军演”。

就像是真实的军演需要军事装备一样，模拟真实环境业务流程的压力也需要“新装备”。

ForceBot顾名思义就是“军演机器人”，是京东商城研发体系为模拟618大促真实业务冲击做出的全链路压测军演系统。

在过去，往年的 618大促备战至少提前 3 个月时间准备，投入大量的人力物力去做独立系统的线上压力评测，带来的问题就是各个性能压测团队工作量非常大，导致压测任务排期，压测的数据跟线上对比不够准确，各个强依赖系统上下游需要在压测中紧密配合，一不小心就会影响线上。有的在线下测试环境压测，压测出的数据更是跟线上差距太大，只能作为参考。

现在利用最新开发出的ForceBot系统，可以在军演压测过程中秒级监控到压测源、压测中、京东所有的黄金链路系统、接口响应时间、TPS、TP99 等数据，军演完成后提供丰富的压测报告，准确的找到各系统并发瓶颈。利用ForceBot就可以在公网上进行最接近真实业务环境压力测试。

两个“100分”

在有了ForceBot之后，商城研发团队制定了周密的压力测试计划。

首先在4月12日下午，在商城研发体系负责人马松总主持下率先召开了“京东商城研发体系618备战启动会”，就618整体备战进行了全面的部署，也重点提及了即将启动的ForceBot压测预军演。

4月19日则进行了京东618大促研发备战周会，各主要研发部门就ForceBot预军演准备情况进行了详细的汇报。马松总特别强调，要实现两个“100分”。第一个“100分”是利用100分钟进行连续4轮公网压力测试。第二个“100分”则是希望通过预军演让各系统在压力测试中都能够顺利通过，服务618大促。

凌晨05:00军演顺利完成

618备战ForceBot预军演正式开始

“弹药”也全面到位

4月21日凌晨00:30正式进入“战备状态”。这次预军演主要目标是：各压测场景调优最大化、各研发系统系统压测标识并发验证、各压测脚本资源预估、积累军演经验、其他未知问题早发现。

在军演过程中，预计系统吞吐量（TPS）首先从第一轮的15%逐渐到100%，直到第四轮从150%到300%。利用超强的模拟系统吞吐量测试整个软硬件系统的抗压能力。

凌晨05:00整个618备战ForceBot预军演顺利结束。

本次压测负责人表示，为了做好618大促准备工作，这次预军演仅仅是一个开始，根据实际情况在之后还要进行多轮类似测试。如果在压力测试过程中发现问题也要及时进行解决。

军演花絮  

当你在618爽快地“买买买”的时候，其实背后有着无数程序猿的努力和汗水。

在2017年1月滴滴发布的《2016智能出行大数据报告》中京东成为 “加班之王”，平均下班时间最晚。这次凌晨00:30开始，05:00结束的压力测试估计又会为京东“加班之王”的称号“添砖加瓦”。

在夜晚去食堂吃免费加班餐的时候，小编询问一位参与“军演”的程序员，像是这种通宵加班频率高吗？

他略带诧异对我说，这不是家常便饭的事情吗？

作为一名前媒体工作者，写搞到凌晨清洁工出动的时候也算是不少。不过和这群可爱的程序猿比起来，还是略显不如。

程序猿不仅仅要和深夜加班的疲惫进行对抗，还要紧盯着屏幕，检测各系统运行性能指数并有针对性的进行系统优化。

这些程序猿中不仅仅有常见的男同胞，也有不少英姿飒爽的“花木兰”。

这得需要多少个“美容觉”才能补回来熬夜的摧残啊。

实际上，这个会议室中只是参加本次压力测试的一小部分商城研发同事，更多的程序猿们在京东总部B座各个办公室中奋战，整个B座大楼都是灯火通明。