重磅！阿里巴巴首次公开深度学习框架， X-Deep Learning助力提升广告推荐搜索场景效率

Posted 2021-04-20 阿里妈妈

双11可以说是阿里巴巴庞大商业操作系统的集中展示，仅仅半个月之后，阿里巴巴宣布将其中一大重要业务板块——阿里妈妈的重要技术框架进行开源，这也是该商业操作系统中最具商业价值的业务板块之一。

作为阿里巴巴旗下的大数据营销平台，阿里妈妈基于自身广告业务，自主研发了深度学习框架X-Deep Learning(下文简称XDL)，并已经大规模部署应用在核心生产场景。

 

这是阿里巴巴首次公开的深度学习框架，也是业界首个面向高维稀疏数据场景的深度学习开源框架，突破了现有深度学习开源框架大都面向图像、语音等低维稠密数据而设计的现状，相关代码链接将在12月中旬正式发布。

 

数据的高维稀疏性既是阿里妈妈业务场景的重要特征，也是互联网的众多核心应用场景（如广告/推荐/搜索等）的特征，覆盖了大多数互联网企业的数据应用模式。对于难以与BAT研发能力比肩的众多互联网公司而言，工业级深度学习框架XDL及内置算法方案的开源，将助力各大公司的技术升级，大大提升广告/推荐/搜索场景的精准性，缩短技术迭代周期。

 

面向广告、推荐、搜索研发，XDL覆盖互联网最核心的场景

随着深度学习的风靡，阿里妈妈以算法先行的方式进行了探索，实验效果非常好，但很快也发现，已有的开源框架很难满足其广告场景的规模性及生产迭代要求，自研面向工业应用的分布式深度学习框架随即被提上了日程。

新框架XDL针对阿里妈妈业务数据高维稀疏的场景特点进行了极致优化，性能远超当时业界众多的开源框架，自2016年下半年开始逐步部署到阿里妈妈的业务系统，至2017年初全面完成了生产化。以阿里妈妈定向广告为例，XDL框架助力了业务场景所有核心算法的深度学习创新，当年，以XDL为基础的深度学习算法升级带来的广告收入提升超过百亿。

不仅是广告场景，互联网其它的核心场景如推荐、搜索等，也具有典型的高维稀疏数据特性，例如微博、抖音、今日头条等都属于该范畴内。因此，XDL在这些场景中也具有非常高的通用性，这为开源提供了基础。不管是以广告、推荐、搜索为代表业务的企业级用户，还是对此感兴趣的个人用户，都可以加入到开源计划当中。

值得一提的是，在阿里巴巴XDL开源之前，业界的深度学习开源框架基本是面向图像、语音处理等场景数据而设计，这与整个人工智能领域的研究重点有关，图像和语音是率先取得理论突破的场景，但在工业级互联网场景中实现大突破还属首次。

 

开放与易用，阿里巴巴引领业界高维稀疏数据的技术标准

据阿里妈妈透露，XDL框架从设计之初，就具备了足够的开放性和易用性，开源是水到渠成的一步。

XDL创造性地采用了桥接的架构设计理念，重点打造面向工业级应用的分布式规模能力，单机能够处理的计算则引用现有开源框架。这种桥接的架构，使得XDL跟业界的开源社区是无缝对接的，例如用户可以非常方便地在XDL框架上应用基于Tensorflow或者Pytorch编写的最先进开源深度学习算法。此外，对于已经在使用其它开源框架的企业或者个人用户，也可以在原有系统基础上轻松进行扩展，享受XDL带来的高维稀疏数据场景下极致的分布式能力。

除了核心的XDL训练框架外，阿里妈妈透露将全面开源面向高维稀疏数据场景的系统化解决方案，计划分批次对外发布，包括面向在线实时服务的高性能深度学习预估引擎、面向全库实时检索的全新深度学习匹配引擎；同时还内置阿里妈妈自主研发的一系列创新算法，涉及CTR预估模型、CVR预估模型、匹配召回模型、模型压缩训练算法等等。

阿里妈妈“让天下没有难做的营销”的使命在近年来又多了一层含义，Ad Tech 技术驱动广告的色彩明显。阿里妈妈产品技术部资深总监盖坤表示，阿里妈妈不只自身在打造前沿的AI技术，更希望通过技术开源来赋能大家，推动整个领域技术的前进，让创新的算法方案层出不穷。