特别报道菜鸟物流云全链路压测助力物流系统的稳定性保障

Posted 现代物流报

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了特别报道菜鸟物流云全链路压测助力物流系统的稳定性保障相关的知识,希望对你有一定的参考价值。

7月20日,由中国物流与采购联合会、泰安市经济和信息化委员会指导,现代物流报社主办的“中国智慧物流与供应链创新发展高峰论坛”在山东泰安市圆满召开。本次高峰论坛对企业打造智慧物流新体系具有重要意义。尤其在当下智慧物流成为物流发展新趋势之时,物流业要做好准备,加快与互联网的深化融合,利用智慧物流新趋势,释放行业发展潜力和活力,高效整合供应链,从而打造发展新引擎,创造发展新机遇,拓展发展新空间。

菜鸟网络物流云解决方案负责人张强在会中做精彩演讲:

【特别报道】菜鸟物流云全链路压测助力物流系统的稳定性保障

1. 业务发展是驱动技术发展的关键要素

经过9年的时间,双十一的交易额增长了300多倍,交易峰值增长超过了400倍,系统复杂度和大促支撑难度以指数级攀升。每次双十一0点到来的时候,面临最大的挑战之一是巨大的流量洪峰。在到来之前,如何进行自身影响和周边环境影响的评估是一大难题,其实验证的最好方法就是让事件提前的发生。

2013年菜鸟网络成立后,开始出战双十一,菜鸟自身系统以及所有物流商合作伙伴的系统稳定性也都面临了越来越大的挑战,物流系统业务链路长、线下实体操作多、上下游强依赖,对全链路压测提出了新的挑战。

菜鸟同学结合物流业务场景和特点,打造了一套菜鸟全链路压测平台,内部叫做阿斯旺ASWAN,有力地保障了双十一系统稳定性,并最终形成了常态化的能力,应用在新系统上线、峰值业务压测、容量规划、性能瓶颈探测和技术升级验证等场景,持续地为业务发展提供有力的保障。

2. 物流业务压测问题和解决方案

对于用户来讲,在意的就是整个过程的体验,特别是一年一度的双十一促销活动,又把这个需求放大到一个非常极端的级别。

从菜鸟的视角看,主要面临的问题有如下三方面:

一是面向用户实操场景多

二是上下游强依赖

三是业务链路长

2.1 面向用户实操场景多

菜鸟系统管理的是社会上异构复杂的物流资源和活动,很多都是实体资源,还有一定的历史背景,标准化的程度相对不高。

本来对于长链路中的每个局部应用来讲,想要单靠自身模拟完整的业务流程,是难度很大的事情,加上标准化(模型标准、接口标准和数据标准)的不足,这几乎是一件不可能的事情。

阿斯旺平台通过支持HSF、HTTP等多协议,模拟实操环节,将线下的操作转为线上模拟,生成测试数据来解决。

2.2 上下游强依赖

由于实操的环节特别多,往往一个事务需要依赖多处外部输入数据、经过多方协同操作后才能完成。比如仓库管理系统中从操作流程上多环节需要流水线上不同角色、多处人工操作才能走完一个事务处理。这对需要尽量模拟真实业务场景的流量产生工具实际上提出了新的需求,如果按照之前的方式,需要人工、反复的进行数据准备、一个节点一个节点的进行压测操作,整个过程繁琐且效果不好。

比如一条链路L由A、B、C几个节点组成,A -> B -> C。阿斯旺通过指定接口可以实现自动收集在A点、B点流出的流量数据,保持在对应的流量池里,直到各自设定的水位,这个过程称为蓄洪。然后可以根据需要释放的流量,对B、C形成压力。在压测过程中,只需要准备A点的压测数据,整个过程都可以由系统来完成,大大提高了压测效率,并且能够同时对A、B、C各个节点进行压测。

2.3 业务链路长

仍然以上面的链路L为例:起点为A,所以在跑压测之前是需要去准备A的输入数据集的。但是,假如已经存在节点X,它的数据流量正好是符合A节点需求的,那么是否可以直接利用X节点的流量数据呢?在阿斯旺平台里,这个答案是肯定的。阿斯旺具备场景串联的能力,在制定压测方案里设定节点X为节点A的前置节点,那么从X节点的流出数据就能够蓄洪,直接成为A的输入数据了。

通过自动蓄洪和场景串联,各业务线可以灵活、便捷地组装链路压测数据和压测场景,即使是多方协同的实操场景,也能随心所欲的进行压力测试。

3. 一个典型的场景

以一个典型的业务场景为例,WMS订单履行的操作流程如下图:

【特别报道】菜鸟物流云全链路压测助力物流系统的稳定性保障

1. 上游系统下发销售订单出库

2. 库内工作人员进行预处理和波次汇总

3. 库内工作人员根据生成的拣选单进行货物拣选

4. 库内工作人员对包裹进行质检

5. 库内工作人员对包裹进行出库

其中数据依赖性是5->4->3->2->1,数据是逐步依赖,而且还有额外的参数。

如果按照以往的全链路压测经验,先制造节点1请求进行压测,然后在收集节点1请求落在数据库里的结果,进行拼装节点2请求,这俩个节点压测的时间间隔将会不确定,完全取决于开发人员的响应速度。而且还不能同时对节点1,节点2,节点3,节点4,节点5 进行压测。

阿斯旺的流程,业务同学需要将节点1的请求,灌入到ASWAN的蓄水池中,然后由ASWAN发起压测,同时业务应用需要识别压测流量,丢出节点2的消息,ASWAN收纳节点2的消息,由操作人员进行控制蓄洪,当到达一定水位量的时候,操作人员可以进行泄洪,也就是释放流量,节点3,节点4,节点5以此类推。

4. 菜鸟全链路压测的效果

阿斯旺已经从一个流量发生工具升级成集数据生成管理、脚本管理、压测控制、监控管理为一体,托起菜鸟整体全链路压测的性能平台。

在2017年双十一中,阿斯旺平台对菜鸟业务核心链路覆盖率达到72%。通过便利的压测设施支撑各业务线压测,大幅提升了100多人全链路演习的有效时间,在跟阿里集团同步进行的通宵压测活动中,从传统方式的5小时只能1轮压测,提升到5小时3轮有效压测。同时,还接管了菜鸟全部CP/ERP压测,在彩虹桥系统中集成的一站式压测管理也极大的提升了涉外压测效率,得到菜鸟内部各业务线的高度认可。

5. 在物流云上能力开放

菜鸟物流云是为合作伙伴赋能的物流行业云。菜鸟物流云构建与阿里云提供的基础架构和中间件云环境之上,重点提供快递、仓配、跨境、末端等细分行业业务组件解决方案。通过透出菜鸟现有业务产品服务接口的方式,打通商家与物流商之间的数据通道,降低物流商的服务成本,提升物流合作伙伴的服务质量。菜鸟物流云通过物流云业务组件帮助物流商快速开展业务,实现行业数据连接交互,共建物流行业系统及生态。

【特别报道】菜鸟物流云全链路压测助力物流系统的稳定性保障

我们将阿斯旺全链路压测平台放在菜鸟物流云上开放出来,提供给所有用户方便地订购使用。

【特别报道】菜鸟物流云全链路压测助力物流系统的稳定性保障

6. 菜鸟物流云官网:cloud.cainiao.com

【特别报道】菜鸟物流云全链路压测助力物流系统的稳定性保障

【特别报道】菜鸟物流云全链路压测助力物流系统的稳定性保障

现代物流报全媒体

面向全国诚征战略合作伙伴

《现代物流报》(国内统一连续出版物号:CN13-0031,邮发代号:17-67)是由国家新闻出版广电总局批准出版,中国物流与采购联合会主管,全国惟一公开发行的物流行业报纸媒体。报社集报纸、网站、微信、微博、APP于一体,是国内最权威的物流行业全媒体资讯平台,权威性和影响力无可比拟。

经研究,初步拟面向全国征集战略合作伙伴,包括物流细分行业领军企业及公关代理公司。方案备索。  

朝阳行业机会多,商机错过不等人,现代物流报全媒体期待着与您合作双赢!

现代物流报全媒体运营中心

联系人:王伟

现代物流报:打造国内物流业第一全媒体综合服务平台。

现代物流报钢铁版:发布国内外钢铁流通领域生产、贸易、上下游相关行业政策、新闻。

以上是关于特别报道菜鸟物流云全链路压测助力物流系统的稳定性保障的主要内容,如果未能解决你的问题,请参考以下文章

二十问全链路压测干货汇总(上)全网最全

中通技术平台部消息&全链路压测小组招人啦

全链路压测体系建设方案的思考与实践

菜鸟CTO谈物流科技:科学家也要贴地飞行

京东刘海锋:Chaos Monkey全链路压测和容器技术 智解双11技术难题

生产环境上 “全链路压测体系” 建设方案的思考与实践