加密流量如何识别与管控？“软硬结合”的网络流量分析方案解决难题！

Posted 2022-09-26 Datawhale

 Datawhale干货 

方向：AI+网络安全，案例：绿网

刚刚发布的第50次 《中国互联网络发展状况统计报告》 显示，中国网民已超10亿，互联网普及率接近75%，其不仅推动了数字经济的蓬勃发展，而且在满足人民日益增长的美好生活需要等方面都发挥了重要作用「1」。随着互联网提供日益新颖而丰富的产品和服务，例如常见的语音视频聊天、互动游戏、点对点网络、流媒体、网络电视等等，网络运营商因此吸纳了海量客户资源，带来了巨大的数据流量，但与此同时也产生了带宽管理、内容计费、信息安全等一系列问题。

采用智能技术，实现网络管理精细化

为应对互联网的飞速发展，根据网络流量识别业务类型成为网络技术研究的重要方向和运营商的迫切需求。通过业务识别系统，互联网运营商以及服务提供商能够采集与分析互联网中各种应用产生的流量，识别不同的业务流量类型并进行分类，进而根据不同的业务类型提供相应的保障响应和服务品质。

• 网络流量分析和管理须精细化

面对这一需求，网络运营商开始引入DPI，来提高网络对报文应用信息的感知能力，让网络流量分析和管理走向精细化。

DPI是Deep Packet Inspection的缩写，中文名称为“深度报文检测”是一种流量监测和控制技术，针对不同的网络应用层载荷（例如HTTP、DNS等）进行深度检测，通过对报文的有效载荷检测决定其合法性。

比如，可通过DPI将流量分为低延时(语音)、保证延时(网络流量)、保证交付(应用流量)和尽最大努力交付的应用程序(文件共享)，以此更好地根据关键任务流量、非关键流量来优化资源并减少网络拥挤，保障各种服务有序开展。

但随着互联网加密流量逐年攀升，传统DPI方案已很难从报文中直接获取信息并对流量进行分类，必须寻找新的方法来完成协议分类任务。在此背景下，基于人工智能的网络流量分析方案应运而生。

这种方式能够通过机器学习算法，利用采集的数据样本，针对目标协议生成相应的模型文件，帮助系统在线运行时能够根据当前的报文特征判断出正确的应用类型。但同时，这种AI方案也意味着需要CPU提供密集型运算能力，对复杂的大流量数据进行实时检测、分析和处理，平台在性能方面可能遭遇挑战。

尤其是，基于机器学习的网络流量分析方案，额外增加了大量的特征学习等负载，会带来较大的性能开销，导致CPU负载显著提升，增加系统的整体性能压力。

• 绿网打造智能DPI检测方案

武汉绿色网络信息服务有限责任公司（以下简称“绿网”）， 秉承“因为专注，所以强大”的理念，公司致力于成为电信级网络和安全设备及解决方案的领导者，面向网络管理精细化需求，推出智能DPI检测方案。

图一 绿网固网DPI解决方案架构

该方案以协助运营商等实现网络可视、可管、可控、可增值为宗旨，一站式地提供了针对加密流量的实时流量特征提取、学习建模、在线推断等功能，能够保障高性能的报文处理，实现高效的智能识别和智能控制能力。方案同时能够将网络数据转换为结构化表单数据(XDR)，供上层平台进行大数据联动分析，为网络运维、网络安全、信息安全、网络规划和市场经营等工作提供强有力的支撑。绿网固网DPI解决方案主要包括采集、数据处理以及应用分析三大部分，其中采集指DPI设备，负责采集流量数据；数据层提供统一数据存储，充分发挥大数据价值；应用层负责统一进行应用孵化，提升数据价值。

固网DPI检测方案因其数据采集机，也是系统的核心设备，对平台性能要求非常高，主要用于流量的限速转发、协议识别等功能，而这些功能对实时性要求很高。为了应对加密流量快速增长所带来的分析难题，DPI方案引入了AI技术，用来补强DPI的功能，却也对平台性能提出了更苛刻要求，因此平台的性能优化刻不容缓。

至强® 可扩展平台与英特尔® TADK软硬结合，用实力解难题

英特尔近些年来一直致力于AI技术创新，推出了一系列软硬件产品，帮助产业伙伴提升方案性能，加速AI落地。面对智能DPI方案开发中遭遇的挑战，绿网基于至强® 可扩展平台, 尝试引入英特尔® TADK来优化方案的AI性能。

图二  英特尔® TADK开发工具套件架构

英特尔® TADK（Intel® Traffic Analytics Development Kit）是一组利用人工智能加速技术优化网络应用的库和工具，涵盖了典型的端到端利用人工智能/机器学习进行网络流量分析流水线。其基于机器学习的应用分类，较传统基于深度报文检测的方法具备更广泛的适用性，并且对于加密报文也有一定的检测能力。此外，英特尔® TADK不但可以提取特征及给出推理结果，还能统计流量的协议类型占比、字节数目，并进行较为完善的流量分析。

绿网智能DPI方案利用英特尔® TADK的优异性能，一站式进行性能优化。比如在离线训练层面，实施基于流的业务分类；在线推断阶段，结合初始化时加载的机器学习模型，对每个流进行推断，按流输出推断结果，实现了对加密流量更加高效地采集、处理与分析。

与此同时，基于英特尔® 至强® 可扩展处理器及英特尔® AVX-512，绿网利用至强® 可扩展平台兼顾通用计算和并行计算的能力，将方案的性能水平进一步提升，实现了流量高效而精准识别，从而帮助运营商实现多项价值，助其为网络用户提供更高质量和更具性价比的服务：

1.充分挖掘各类流量数据，为网络运维、安全规划、经营提供强有力支撑；

2.保障高性能报文处理，更有效地应对数字经济发展所带来的流量风暴；

3.以软件优化模式，降低传统方案扩展性能所带来的硬件采购、运维、能耗等成本。

不止于网络，让智能化为人们打造更美好体验

得益于英特尔® 至强® 可扩展处理器和英特尔® TADK的AI加速能力的双重加持，绿网智能DPI方案能够更高效地采集网络数据，以及实施海量用户上网数据的处理和挖掘，为运营商更有效利用网络数据，实施产品和服务优化，从而实现业务增值和提升用户体验提供了有力支撑。

未来，英特尔将与绿网等合作伙伴携手，进一步推动CPU、iGPU和FPGA等产品在网络运营的应用。以英特尔® 至强® 可扩展处理器为硬件支持，利用业界标准框架和TADK等软件，助力网络运营商/服务商深挖流量价值，拓展业务，打造一体化服务的新型信息基础设施。同时，英特尔也将在AI领域深入耕耘，进一步驱动网络管理智能化转型，助力垂直行业构建更多AI应用场景和优质服务，帮助人们打造更美好数字经济新体验。

[1] http://www.gov.cn/xinwen/2022-09/01/content_5707695.htm

点击阅读原文查看检测方案