系闻快报 | 港科大Blink`团队荣膺阿里巴巴中间件性能挑战赛冠军

Posted 2021-04-10 清水湾区

7月22日在浙江杭州阿里巴巴西溪园区，一场以 “挑战双11万亿级服务调用” 为口号的阿里中间件性能挑战赛落下帷幕。在该比赛中，来自香港科技大学的Blink`团队喜夺冠军。该团队成员车煜林和王立鹏均为港科大计算机科学及工程学系罗琼老师指导的在读博士生。本次比赛共吸引了超过3000支国内外队伍，覆盖7个国家和地区、432所海内外高校、480多家企业参赛。Blink`团队经过努力，一举拿下初赛第一名和复赛第一名，并且以精彩的最终答辩获得总冠军。

Blink`团队（左：王立鹏，中：车煜林，右：阿里巴巴研究员 林昊）获得冠军

阿里中间件性能挑战赛是由阿里巴巴集团发起，由阿里巴巴中间件和阿里云天池联合承办的工程性赛事。该赛事旨在“为热爱技术的年轻人提供一个挑战世界级技术问题的舞台，希望选手们在追求性能极致的同时，能深刻体会技术人的匠心精神，用技术为全社会创造更大价值”（引自大赛官网）。挑战赛自2015年开始已经成功举办了三届。本次第四届中间件性能挑战赛以开源项目为背景，核心技术为Apache Dubbo和RocketMQ，为技术爱好者们提供开源平台，倡导开源精神。

总决赛队伍合影

挑战赛以“挑战双十一万亿级服务调用”的实战场景作为主题，分为初赛（Apache dubbo服务的负载均衡以及协议转换），复赛（Apache RocketMQ 海量数据的存储与读取）以及最终答辩三个部分。初赛选出 top 200队伍进入复赛，复赛胜出的top 11队伍进入最终答辩。比赛评委包括Apache基金会联合创始人Jim Jagielski，以及来自阿里巴巴中间件和阿里云的权威专家。

大赛邀请的嘉宾

不同于往届比赛，本次比赛不限制编程语言，并且涉及众多技术，其中包含docker、etcd、epoll、linux高性能并发网络以及高性能SSD IO设计等。参赛选手需要具有快速实现，查找性能瓶颈以及系统性调优的能力。

初赛使用的Apache Dubbo (incubating) 是阿里巴巴中间件团队开源的一款高性能 Java RPC 通讯框架。在复杂的系统环境下，服务间调用会变得非常复杂，如果没有一套完善的服务治理能力的话，系统会处于非常危险的境地。微服务(service mesh)创造性地将曾经的单体系统拆分为若干个独立的微服务系统，并且提供了服务注册、服务发现、服务治理、负载均衡、服务监控、流量管控、服务降级、服务熔断和服务安全等特性。初赛题目据此为背景，要求实现一个简化版的service mesh agent。评测方式是使用压测工具对整条服务链路进行压力测试，按照每秒完成处理请求的数量（QPS）由大到小进行排序。Blink`团队根据历史请求处理时间设计了动态平衡算法，控制最大峰值并防止饥饿，必要时缓存请求。最终成绩 7144QPS，排名1/3100，领头进入复赛。

复赛基于Apache RocketMQ。这个分布式的消息中间件在历年双十一承载了万亿级的消息流转，为业务方提供高性能低延迟的稳定可靠的消息服务。随着业务的逐步发展和云上的输出，单机队列数量的逐步增加，给RocketMQ带来了新的挑战。复赛的题目要求设计一个单机百万队列以上的存储引擎。由于单机内存有限，选手需要充分利用数据结构与存储技术，让系统吞吐量达到最大化。

总决赛队伍与评委合影

评测方式是多线程调用存储接口写入数据后随机检查每个消息队列数据的正确性，最后随机挑选 1/10 个队列进行完整消费。比赛限制在1800秒内完成写入，在1800秒内完成随机数据验证和消费。在结果正确的情况下，按照每秒完成的操作数量（TPS）进行从大到小排序。

Blink`团队通过设计文件结构来平衡存储速度和读取速度，并且通过压缩来减少IO。同时所有文件读写均使用异步方式，使计算（消息聚合与压缩）和存储同时进行。复赛最终成绩2.69 MTPS，排名1/200。

这次比赛涉及到的技术非常广泛：从现在比较火的docker技术到linux底层实现细节（例如epoll，文件pagecache等）都需要有所了解。在比赛中Blink`团队广泛使用了在日常研究工作中用到的多线程，SIMD技术等进行优化，并且取得了很好的效果。通过比赛题目他们也学习到了高性能并发网络的设计和调优。此次比赛代码量相对较大，队友之间互相信任，设计分工，每个人都把自己负责的模块优化到极致的性能。从赛前对未熟悉技术的探索，到赛中相互交流想法，优化代码，最终成功领跑榜单。两位队员互相支持和打气，最终拿下了比赛的冠军。由此可见，此次性能挑战赛，不仅有助于参赛者们专业技术的历练，更有助于团队合作精神的磨砺。希望在以后的科研生活中，我们也能像他们一样，克服困难，发掘出自己的潜力！

最后，再次祝贺Blink`！