腾讯云11·11:千亿订单背后的安全“暗战”
Posted 细说云计算
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了腾讯云11·11:千亿订单背后的安全“暗战”相关的知识,希望对你有一定的参考价值。
回顾近年来的电商大促,最具特色的便是抢购、秒杀活动了,而这也使得 Web 访问量可能瞬间陡增十倍甚至是数十倍,对接入层、逻辑层的按需、实时、快速平行扩展能力提出了较高的要求,如选用传统的硬件设备搭建集群,会遇到成本高昂,运维繁琐等问题。
对于这些问题,可以采用负载均衡配合云监控、弹性伸缩(Auto Scaling)、消息队列、分布式缓存、分布式数据库等服务来解决。
负载均衡服务:CLB 单集群的最大并发连接数超过 1.2 亿,可处理峰值 40Gbps 的流量,每秒处理包量为 600 万,负载均衡服务曾在历年的春节微信“抢红包”历练;
弹性伸缩可以根据需求和策略,比如 CPU 利用率达到阀值,就自动扩容指定数量的云服务器,也可根据定时、周期或监控策略,相应地增加或减少 CVM 实例,并完成配置,保证业务平稳健康运行。
安全性对于电商平台来说,不仅仅在大促期间会一而再再而三地关注到,它更是一个日常话题,网站入口、支付等环节,都往往处于“高危”环境,来自于网络“黑客”及“黑产”团队的恶意攻击等,都有可能会导致网站核心业务不可用、运营投入的大量优惠券被“羊毛党”抢占,甚至给后台系统带来“致命”打击。
腾讯云今年推出了 AI 安全战略,以大数据和 AI 的算法为驱动,构建应用于安全领域的包括社交图谱分析、图像自动识别、自然语言处理、知识表达推理等 AI 通用能力,形成智能身份鉴定、威胁情报分析、异常流量检测、网络攻击溯源、人机行为识别、恶意图片识别、垃圾文本检测等 7 项技术应用。
这些能力通过多款产品,如业务安全(天御)、主机安全(云镜)、数据安全(数盾)、移动安全(乐固)、账号安全(祝融)、网站与流量安全、内容安全与风控安全,为客户提供安全保障。本次我们将重点放在电商客户最常遇到的网络安全和业务安全展开介绍。
BGP 高防(大禹)产品是腾讯云针对电商网站遭受大流量 DDoS 攻击时服务不可用的情况推出的增值服务,提供 300G 的防护服务并拥有 35 线的 BGP 线路,帮助客户全面应对 DDoS 攻击的挑战,同时改善客户的访问体验。
图:腾讯云 DDos 防护体系架构
对于 BGP 的高防攻击检测,腾讯云采用光棱镜物理分光来做 1:1 流量镜像,旁路 Netflow 检测镜像流量,不影响客户正常业务流向,检测后的镜像流量被丢弃。检测原理主要是基于流量建模分析客户 IP 的流量中是否存在攻击流量。
对于清洗攻击,在检测到某个 IP 被攻击后,清洗集群向核心路由发布 BGP 牵引路由,将该 IP 的流量牵引至清洗集群防护。清洗后的干净流量,再通过 BGP 路由回注至核心路由,最终流至客户的云主机或通过转发集群流至客户在腾讯云外的机房。
防护算法主要是基于 IP/TCP/UDP 协议的缺陷检测及 HTTP、HTTPS 报头的分析,不涉及、不查阅业务负载报文,防护系统对客户的业务数据完全无感知。
云内客户通过高防包绑定需要防护的设备,来提升防护级别。
BGP 高防专区除了提供高防服务,还同时对腾讯云客户的公网 IP 提供基础防护
业务部署在腾讯云的客户,可以将绑定高防包绑定至需要防护的设备,提升防护级别。
云外客户通过高防 IP 牵引攻击流量,保护后端业务
客户在腾讯云高防 IP 上配置业务转发规则;
客户将高防 IP 作为业务 IP 对外发布;
所有流量都先经过腾讯高防 IP,再转发到客户真实源站,攻击流量在高防机房被清洗。
高防 IP 基于公网 IP 回源,在其他云或 IDC 机房的业务,都可以接入腾讯云高防 IP 的防护
大禹是腾讯云 AI 安全战略的网站安全防御系统,大禹网站高防可抵御 SYN Flood、ACK Flood、UDP Flood、NTP Flood、SSDP Flood、DNS Flood、HTTP Flood、ICMP Flood、CC 等各类攻击。防护与腾讯安全大数据平台联动,实时更新防护策略库,有效防护新攻击手法。
DDos 防护:大禹 BGP 高防基于先进特征识别算法进行精确清洗,抵御 Syn Flood、ICMP Flood 等各种大流量攻击。业务接入大禹 BGP 高防后,该功能自动开启,无论是 SYN Flood、UDP Flood 还是其他类型的大流量攻击,大禹 BGP 高防系统单节点能够防御 300Gbps 攻击。
CC 防护:大禹 BGP 高防通过模式识别、身份识别等多种手段,来识别恶意访问者,同时采用重认证、验证码、访问控制等手段,抵御 http get 等各类应用层攻击。恶意竞争者和黑产从业者将无法通过应用层攻击威胁到客户的业务服务器。
腾讯目前通过自建骨干网的 CAP 平台,BGP 链路对接了 35 家运营商,其中包括中国电信、中国联通、中国移动、中国教育和科研计算机网、中国科技网 5 家运营商。其余为中小运营商,包括:鹏博士、长宽以及各地广电等宽带接入服务商。
“羊毛党”其实早已经从个体行为、小作坊发展成了产业链,他们往往有着明确的分工,已形成几大团伙。下图为电商刷单团队的工作模式和任务分工。
图:电商刷单团队的工作流程
具体操作方式:
软件制作团伙:专门制作各种自动、半自动的黑产工具,比如注册自动机、刷单自动机等;他们主要靠出售各种黑产工具、提供升级服务等形式来获利。
短信代接平台:实现手机短信的自动收发。这其中,有一些短信平台是亦正亦邪,不但提供给正常的商家使用,一些黑产也会购买相关的服务。
账号出售团伙:他们主要是大量注册各种账号,通过转卖账号来获利;该团伙与刷单团伙往往属于同一团伙。
刷单团伙:到各种电商平台刷单,获取优惠,并且通过第三方的电商平台出售优惠,实现套现。
腾讯天御产品通过腾讯积累的安全大数据和防刷引擎,精准识别“薅羊毛”的恶意行为,避免企业被刷带来的巨大经济损失。其防御过程大概如下:
通过天御防刷,判定请求流量是否为恶意(API 实时接口);
之后,天御结果 200 毫秒内返回,厂商可根据返回的风险值(level),共计 5 个档位做合适的处理:
若厂商需要做精细化运营,或者希望对某种异常标签做针对性的打击。可参考 risktype 返回的标签。通常根据风险值(level)做处理已足够。在风险值 level 不为 0 的情况下,risktype 可任意组合(根据命中异常的标签实际情况)。
以下为某厂商根据天御返回的风险值(level)进行处理的实际案例:
基于输入参数的实时分析系统,确保每次请求都实时评估判定:
传统黑名单机制,极易造成用户投诉。比如手机重放号、账号被盗后找回等,因历史作恶判定为黑而永久黑;
天御的实时判定服务,确保在不同的环境(如 IP)下,实时关联数据亦不相同。所以每次请求,即使是同一个账号,亦会做出公允的评判
天御实时模型,在大量业务中学习和训练。这是整个服务的核心引擎,确保高可用高覆盖
除了基础稳定性、安全性的保障,越来越多的电商平台,也在寻找新的模式、新的玩法,来提升自身平台的用户体验,提升转化率。腾讯云就现金电商平台的业务需求,总结了以下三大创新应用:
智能推荐,是最普适的一个诉求,面对不同的用户,根据客户的特征、喜好,展现不同的商品,一来可以提升用户好感度,另一方面也是提升转化率的良方。但这对于一般企业来说,是个漫长的周期,需要投入大量的人力和时间,不断地积累数据,不断地打磨算法,才能有所见效。腾讯云依托腾讯在电商、游戏、金融、泛娱乐、资讯及 3C 等多领域深厚的大数据技术积累,为客户提供基于海量用户画像 + 实时大数据机器学习的内容个性化推荐 PaaS 服务。
电商 + 直播。说到新玩法,“电商 + 直播”绝对是一个绕不开的火热话题,然而自主研发,却是难熬的等待,腾讯云基于腾讯多年在视频领域的经验,推出一站式解决方案,从全平台的推流主播 SDK,到海量云端处理系统,再到强大的 CDN 云端加速,最终到用户播放 SDK,无缝链接,24 小时即可完成接入。
当然,如今备受关注的小程序,也是一个不得不提的话题,据统计,蘑菇街女装精选小程序 7 月 4 日正式上线,截至目前已经获取了 6000 万的新客户。到 9 月份,日均访问量增长较 7 月超过 200%,GMV 增长超过 140%。而小程序现有的 SDK/DEMO 缺乏对云端的支持,依赖开发者逐个模块搭建云端服务,过程繁琐。腾讯云提供了一键构建具备云端能力的专属小程序,提高小程序开发的效率。此外,还提供 PaaS 级的 WebSocket 信道服务,降低了开发者使用 WebSocket 通信的门槛。同时,通过提供完整的鉴权会话管理服务,来保证用户的信息安全。
本文通过云端海量并发弹性扩容、AI 安全体系防御构建与实施、电商领域的创新应用三大板块介绍了腾讯云如何在双十一电商大促的情境下,为电商平台提供可用、高效、完善的安全护航方案。电商与黑产之间的较量从来不会结束,双十一来临之际,我们希望通过一些对抗黑产的新经验和技术的分享,给电商从业人员以及相关的开发者提供一些新的思路和借鉴。
作者介绍
戴唯伟,腾讯云解决方案资深架构师,5 年传统 SI 技术工作经历,5 年公有云上云架构咨询经历。 上云架构“老司机”,曾就职于微软云、金山云,对国内外云厂商产品发展、各类用户上云历程有很多“切身体会”。深谙传统企业客户、游戏行业客户、互联网行业客户“上云”和“用云”的痛点、难点和机遇,职业理想是做云计算和 AI 殿堂里的“扫地僧”。
渴望了解更多双 11 背后最新的技术架构?12 月 8-11 日,请前往由 InfoQ 举办的 ArchSummit 全球架构师峰会 北京站,大会与阿里巴巴合作策划了 双 11 架构专场,并邀请了顶级技术专家担任出品人,设置了“新一代 DevOps”、“人工智能与业务应用”、“架构升级与优化”等 17 个热门话题,更多详情可点击 阅读原文 了解大会日程。
「细说云计算」是 InfoQ 旗下关注云计算技术的垂直社群,投稿请发邮件到 editors@cn.infoq.com,注明“细说云计算投稿”即可。
以上是关于腾讯云11·11:千亿订单背后的安全“暗战”的主要内容,如果未能解决你的问题,请参考以下文章