全国低于30ms响应速度:千万级魅族用户的异地多点网络

Posted 魅族技术

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了全国低于30ms响应速度:千万级魅族用户的异地多点网络相关的知识,希望对你有一定的参考价值。

2015 年 12 月 21 日魅族副总裁李楠在年度媒体沟通会公布 2015 年总销量突破 2000 万台,同比去年增长 350%,增长率全球手机品牌第一;

2015 年 12 月 29 日魅族副总裁杨颜公布,2015 年魅族 Flyme 注册用户数突破 3000 万,应用商店现有超过 100 万款应用,总下载量超过 100 亿,营收能力同比增长 12 倍。

在业绩出现爆发式增长的同时,数据中心基础资源也出现大规模扩张,目前的一些数据如下。



网络设备数量:200+

  • 服务器数量:2000+

  • 虚拟子机数量:2500+

  • 互联网带宽:4G+

  • 专线带宽:400M+

  • CDN 带宽:100G+


运维问题


在传统手机制造业向互联网方向转型,以及业务爆发式增长,基础网络运维遇到过什么问题、困难呢?




  • 架构:网络架构脆弱,故障不定时爆发。比如单点架构:IDC 与办公共用办公网珠海总部节点为中心,当中心节点需维护或故障时,将影响 IDC 节点可用性;

  • 硬件:硬件性能瓶颈,高峰期 CPU 高达 99%。比如广域网采用低端路由器跑公网 DMVPN,采用 CPU 进行封装、转发,耗设备设能,在晚上高峰期 CPU 经常会高达 99%左右,产生丢包影响;

  • 监控:监控覆盖率低,故障无法跟踪定位。比如机房内、机房间、公网的质量情况;

  • 运营商:运营商复杂,公网质量无法保障。比如公网链路丢包;


    数据中心演进的 4 个时代


一、练级阶段(2010-2013)


1、 2010 - 2011:架构:外网 1.5 个机柜;业务:魅族官网、社区;人力:开发兼运维;


2、2011 - 2012:架构:5 个机柜,二层级联、机架式单系统服务器;业务:魅族官网、社区、商城、Flyme 官网;人力:成立业务运维、DBA 运维;


3、2012 - 2013

架构:二层 STP 网络架构、IBM 刀箱 + EMC 存储 + VMWARE 虚拟化

业务:魅族官网、社区、商城、Flyme 官网、云服务

人力:业务运维、DBA 运维


二、英勇黄铜(2013 年):网络架构 V1.0


“英勇黄铜,金字塔的塔基,就是那种挖坑的存在。如果你掉进去了,想爬上来没有一定的实力真心不容易啊!”



伴随着魅族官网、社区、商城、Flyme 官网、云服务的发展,业务驱动诞生了魅族网络架构 V1.0 版本,主要特点:


网络架构:传统二层 STP 网络架构,链路资源利用率低、可靠性性低、维护成本大;

硬件设备:性能和稳定性不足,核心设备经常会出现 CPU 负载过高导致重启。


典型机房代表:广州亚太 IDC ,已于 2015 年 12 月完成了裁撤。


三、不屈白银(2014 年):网络架构 V2.0


“不屈白银,大多数玩家都处在这个位置当中。”

        

伴随着应用中心、游戏中心、O2O、大数据、flyme 云服务、魅族云等发展,传统的网络架构已经无法支撑满足,业务驱动诞生了魅族网络架构 V2.0 版本。


主要特点:


1、网络架构:1)引入 10G 万兆大流量区;2)大二层虚拟化网络架构;3)内、外、管理流量混合;


2、硬件设备:引入数据中心级高密交换机,稳定支撑承载互联网业务。典型机房代表:华南 IDC、华东 IDC。


四、荣耀黄金(2015 年):网络架构 V3.0


“联盟里的中端玩家。”

    

伴随着互联网业务的爆发性发展,传统的“人肉运维模式”已经无法支撑千万级用户,于是标准化驱动诞生了魅族网络架构 V3.0 版本.


什么叫标准化?举个简单例子:商鞅变法前,秦国各地度量衡不统一。为了保证国家的赋税收入,商鞅制造了标准的度量衡器,意义:全国上下有了标准的度量准则,为人们从事经济文化交流活动提供了便利的条件。


我们是怎么做的呢?我们通过架构设计、网络设备选型、IP规划、网络连接规划、网络配置脚本等制订一套标准规范。


3.0 版本网络架构除标准化外,其它主要特点:


1)三网分离:

a) 结构逻辑清晰;

b) 安全分级:内外网物理隔离,提高内网的安全级别,降低安全风险;

c) 提高网络可用性、吞吐能力;

d) 管理网带外管理,提高运维排错能力。


2)流量可视化:

a) 外网流量特性固定,基本是直上直下的南北流量;

b) 内网流量复杂,属于东西南北穿透。

内外网流量分开便于网络流量管控可视化。


3)单组 TOR 升级:一组 TOR 容量提升 50% 以上。原来 V2.0 一组接入层交换机仅能覆盖 2 个机架(24 台服务器),而 V3.0 版本一组接入层交换机可以覆盖 3 个机架(36 台服务器起)


4)逻辑分区:普通区、LVS 区、大流量区、安全管控区。


5)安全方面:

a) DDOS 流量清洗购买了 BAT 的云盾(腾讯叫宙斯盾)服务;

b) 自研 WAF 平台;

c) 出口 ACL 白名单


V3.0 网络架构版本另外一个突出特点是 LVS 引入了 FULLNAT 模式,逐步淘汰 DR 模式,从而提高了数据中心的扩展性、健壮性。


五、华贵铂金(2016 年后):网络架构 V4.0


测试及进行中,请留意进展。


六、IDC 网络架构介绍


前面所提到的都是单个 IDC 的网络架构,大家都还记得 2013 年 7 月及 2015 年 5 月一些同行的光纤被挖断故障?单机房会存在扩展难、无法容灾、无就近接入等问题。针对单机房问题,我们的应对措施:


  1. 制定运营商、代理商服务 SLA 协议标准,比如 99.9%;

  2. 多线 IDC + 分布式数据中心部署,提高业务部署冗余性,提高业务部署冗余性。


接下来将分享我们的 IDC 网络架构:


先简单概述我们多机房业务的部署,目前我们通过 GSLB 已经实现了用户就近接入,提高了用户体验,即华东片区用户访问华东 IDC,华南片区用户访问华南 IDC。 关于异地多活的方案,我们正在演练阶段,计划今年将会实现。


    

下面看 IDC 基础网络架构,IDC 由专线平面 A 、VPN 平面 B 双平面组成 ,其中专线平面为主,VPN 平面为备,当专线平面瘫痪后,流量会自动切换到 VPN 平面上。



我们先来看看 VPN 平面,节点之间是建立电信、联通链路两条 VPN,路由协议跑的是 IPSEC + EBGP,BGP 具有灵活、稳定的特点,设备选型是 FT 的 1000D,VPN 吞吐量高达 30Gbps 以上,可用性相比 2015 年之前,有了一定的提升。

                

备注:

99.9%(月中断时长:43.2 分钟)

99.92%(月中断时长:34.56 分钟)

99.95%(月中断时长:21.6 分钟)

我们做过相关的测试:当电信线路发生中断故障,中断 10 - 12S 路由切换到联通链路。


由于运营商网络错综复杂万变,运营商经常凌晨会进行割接或者链路经常出现堵塞,造成广东片区访问北京、华东片区网络丢包等现象,随着互联网业务日益壮大,对网络质量要求越来越高,于是我们在今年 1 月份搭建了专线平面,把可用性提高到至 99.92% - 99.95%,华南、华东、华北互联,构成一个“三角形”环状,当其中一条链路出现故障,流量可以自动切换到第二条链路上。举两个例子:


a)专线平面(A):环保护


比如:华南 ⇒ 华东,当主链路 a 发生异常故障中断,秒级切换至 b,即华南 ⇒ 华北 ⇒ 华东


b)VPN 平面(B):公网冗余保护


比如:华南 ⇒ 华东,当专线同时发生异常故障中断,秒级切换至 B 平面,即华南 ⇒ 华东走 A 链路


    

七、办公网与 IDC 解耦


数据中心的大概分享到这里,接下来将简单介绍一下办公网以及跟数据中心的互联互访。


曾经踩过的坑:2015 年 7 月珠海总部办公大楼掉电,影响中断华南 IDC—华东 IDC 机房间网络的通讯。


办公网与 IDC 解耦,IDC ⇒ FW ⇒ OA:通过 OA 边界墙实现办公网与 IDC 的隔离,默认只放通运维相关的端口,策略申请需要安全部门评估审批。


网络监控的 4 大优化


面对千万级用户的异地多点网络架构,魅族的网络监控是怎么支撑的呢?


监控痛点


我们监控曾经遇到痛点:


  1. 监控系统可读性差;

  2. 监控项告警重叠;

  3. 告警无法定位问题;

  4. 业务产品带宽使用。


监控架构总体视图


先来看看监控总体视图:

    

监控对象分三块:


1、设备监控:设备可用性、状态监控、性能监控

2、链路监控:公网质量、专线质量、VPN质量、流量情况

3、架构监控:路由邻居变化、路由下一跳变化


监控工具主要是:Zabbix、Cacti、NetFlow、SmokePing、基调、博睿


一、监控模板标准化的优化


优化前:


监控配置人手一个标准,名称、参数,等一切变量都存在随心而定的情况,导致监控系统的可读性以及准确性存在严重的问题。

    

      监控模块标准化(前)


优化后:


对设备的监控配置进行了标准化,比如:什么类型的设备用什么样的监控模板,模板需要包含什么内容,甚至是模板的命名也进行了标准化


             监控模块标准化(后)



二、告警收敛的优化


优化前:



每日会收到超过 100 条的短信和邮件的告警,很多是一些没有实际意义的告警,严重的干扰了正常的工作,经过对告警信息的分析,主要存在几个问题:

1、告警的准确性;

2、重复告警;

3、通知类告警太多。


优化后:



对告警阀值进行研究,细化,提高告警的准确性,并形成一套告警体系,对重复事件进行关联,通知类事件每天只进行一次邮件通知,极大的优化了监控告警,实现了当收到短信告警时,肯定是发生异常了。


三、公网

以上是关于全国低于30ms响应速度:千万级魅族用户的异地多点网络的主要内容,如果未能解决你的问题,请参考以下文章

千万级用户ms级抽奖N名设计方案

千万级用户ms级抽奖N名设计方案

魅族云同步的实践-协议和架构

Mysql数据库中制作千万级测试表

从0到千万级用户亿级请求微服务架构历程

千万级SQL Server数据库表分区的实现