EMQ 助力阿里云洛神云网络构建新一代“亿级并发百万级吞吐”NLB 网络型负载均衡系统

Posted 2022-12-16 互联网运营观察

万物智联的数字化时代,我们正走在从“数据量变”到“连接质变”的道路上。在日益丰富的物联网应用场景中,实现海量设备与云端之间双向通信连接,分析并从中获得实时洞察成了打造成功物联网解决方案的核心推动因素。EMQ 映云科技(以下简称“EMQ”)作为全球领先的开源物联网基础设施软件供应商,为云上用户打造了高并发、高性能、高可靠、开箱即用的一站式物联网数据解决方案,通过海量云边端数据的实时“连接、移动、处理与分析”,助力企业及合作伙伴构建云边一体化的物联网基础设施能力底座。

继 EMQ 核心产品大规模分布式物联网 MQTT 消息服务器 EMQX 成功上线阿里云计算巢、与阿里云原生多模数据库 Lindorm 构建物联网全链数据联合解决方案后,EMQX 再度与阿里云旗下智能云网络洛神云展开合作,助力洛神云网络构建新一代支持“亿级并发、百万级吞吐”的 NLB 网络型负载均衡系统。

“1 亿并发、100 Gbps 吞吐”核心性能测试

EMQ 为阿里云飞天洛神云网络基于 NLB 网络型负载均衡提供大规模分布式物联网 MQTT 消息服务器,助力验证了 NLB 单实例可支持超 1 亿并发连接和超 100 Gbps 吞吐的核心性能指标,这意味着只需要购买一个 NLB 实例,EMQX 就可以一直扩展到满足亿级设备的并发管理,支撑业务的平滑扩张能力,同时也为洛神云网络 NLB 支持车联网、工业物联网等高规格应用场景提供了可靠的技术验证。

该项目已经完成了核心性能指标的测试,测试环境使用阿里云云上资源,地域在德国法兰克福线上正式环境,测试拓扑如下图所示:

·EMQX 客户端集群由 35 台 g5ne.8xlarge ECS 组成,均部署在 eu-central-1b  可用区,安装 MQTT 客户端压测程序,用于模拟客户端业务。

·EMQX 服务端集群由 36 台 g5ne.8xlarge ECS 组成,均部署在 eu-central-1b  可用区,安装 MQTT 服务端业务程序,为线上真实业务。

·创建双可用区私网 NLB 实例,该 NLB 产品实例分布在 eu-central-1a 和 eu-central-1b 两个可用区,用于可用区级别的容灾和流量负载均衡,实例开启跨可用区转发。

·EMQX 控制集群由 3 台 hfc6.16xlarge ECS 组成,均部署在 eu-central-1b  可用区,用于集群变配控制和流量监控,不承载转发业务。

1 亿并发压测,长链路不中断

EMQX 客户端以 3.5 万 CPS 速率开始建连,保持 MQTT 长链接不中断,50 分钟后在阿里云 NLB 控制台看实例监控统计,并发连接数达到 1 亿。如下图所示:

为交叉验证,同时截取了 EMQX dashboard 监控统计,如下图,从左下角 Connections 监控可以看出并发连接维持在 1 亿。

单实例 100G bps 带宽压测,阿里云 NLB 控制台监控如下图所示,单实例吞吐已达 320+Gbps。

洛神云网络打造的 NLB 网络型负载均衡系统

洛神云网络基于阿里云分布全球的物理网络基础设施,构建了超大规模虚拟网络,来提升网络的可靠性、可连接性和弹性。通过十余年的积累,洛神云网络为用户提供了单地域支持百万 VPC,单 VPC 支持百万计算节点的超大规模;51.2T 云上云下互联带宽、3500 万 MPS 弹性 RDMA 的超高性能;200G 网络服务分钟级交付、SLB 0~百万级 QPS 任意伸缩的极致弹性。基于这样的能力,洛神云支撑起了各行各业用户全球范围内的各种形态的连接方式。

NLB 网络型负载均衡是阿里云洛神云网络面向万物互联时代推出的全新一代高性能四层负载均衡系统,支持超高性能和自动弹性能力,用户无需指定或手动调整 NLB 的实例规格,实例性能会随着业务增减自动弹性伸缩,同时采用多层次容灾架构设计保障实例的可用性,为用户在端连接云时,更好地做负载均衡和应用的分发,保障网络的极致弹性,助力用户轻松构建高并发、高安全的物联网平台及应用。

NLB 网络型负载均衡在物联网领域主要应用于车联网、智能家居、智能停车、视频监控等业务场景中,NLB 作为业务入口可以同时处理海量并发连接,同时提供 TCPSSL 卸载、连接限速等能力保障物联网业务安全稳定运行。

全球最具扩展性的云原生物联网 MQTT 消息服务器 EMQX

EMQX 是由 EMQ 推出的一款全球下载量超千万的开源物联网 MQTT 服务器,提供从边缘到云端的一站式设备接入解决方案,以弹性伸缩、安全可靠的方式为全球超 1 亿台物联网设备提供安全可靠的海量数据连接、实时移动与处理。如今,EMQX 已是全球最具扩展性的开源物联网 MQTT 消息服务器,单集群支持 1 亿物联网设备连接,实现每秒百万级消息吞吐,毫秒级消息分发时延等性能优势。

以 EMQX 为核心,EMQ 打造了支持大规模物联网流数据存储和实时分析的云原生流数据库 HStreamDB 和运行在物联网边缘的超轻量 MQTT 消息服务器 NanoMQ、用于工业协议解析转换的工业网关软件 Neuron 和可运行在各类资源受限的边缘设备上的轻量级物联网边缘分析/流式处理引擎 eKuiper, 共同构成了 EMQ 面向未来的现代物联网数据基础设施。

未来,EMQ 继续携手阿里云洛神云网络探索车联网等关键应用场景领域更深入的物联网基础设施解决方案,助力洛神云更好地服务企业数字化战略,构建高并发、高安全、高可靠的物联网应用。