构建第三代人工智能核心能力，清华阿里RealAI等联合发布最新AI安全评估平台

Posted 2021-06-26 AI科技大本营

科技是发展的利器，也可能成为风险的源头。近日，张钹院士在智源大会上表示，AI的发展带来了科技是发展的利器，也可能成为风险的源头。近日，张钹院士在智源大会上表示，AI的发展带来了新的风险和安全隐患。

在算法层面看，现有的AI算法很脆弱，泛化能力很差。这就意味着如果将算法运用到与训练场景区别很大的实际场景中，就会存在安全问题。

从数据层面看，现在人工智能应用效果很大程度上依赖数据质量，但由此会带来隐私泄漏、数据确权等问题。在应用层面，人工智能技术已经逐渐对人们的生活造成冲击，比如售楼处看房戴头盔、困在算法里的外卖骑手等等。还有像深度伪造之类可能对社会造成重大影响的技术，都必须保证安全可控。说明AI的发展与治理之间存在更大与更多的矛盾。

因此，随着AI算法技术不断提升，安全可控性变得十分重要。特别是像人脸识别领域，易攻击性等安全问题的不断出现，促使大众深层次关注AI技术发展过程中的社会影响以及技术本身的可靠性。

产业侧对人工智能的期待进一步提升，但第一二代人工智能都存在天然的算法漏洞和缺陷，难以支撑人工智能的长久高质量发展。为此，RealAI创始人田天提出，需加快发展第三代人工智能，从目前的产业阶段与技术需求来看，第三代人工智能需发展“安全、可控”两大核心能力。

近日，清华大学联合阿里安全、Real AI发布了首个公平、全面的AI攻防对抗基准平台，该评测基准基于清华大学在2020年GitHub开源的ARES算法库，该平台致力于对AI防御和攻击算法进行自动化、科学评估。AI模型究竟是否安全，攻击和防御能力几何？只需提交至该平台，就可见能力排行。

中科院院士张钹（左二）、清华大学教授朱军（左三）、阿里巴巴安全部技术总监薛晖（右一）、RealAI CEO田天（左一）等联合发布首个公平、全面的AI攻防对抗基准平台

 

构建这个平台的最初设想是什么？

“就像打仗一样，攻击者可能用水攻，也可能火攻，还可能偷偷挖条地道来攻打一座城，守城的人不能只考虑一种可能性，必须布防应对许多的攻击可能性。”参与该评测基准平台设计的阿里安全高级算法专家越丰这样比喻。

尤其要关注恶意攻击者对数据或样本进行“投毒”，故意影响AI模型的攻击行为。

UIUC（伊利诺伊大学）计算机科学系教授李博认为，机器学习在推理和决策的快速发展已使其广泛部署于自动驾驶、智慧城市、智能医疗等应用中，但传统的机器学习系统通常假定训练和测试数据遵循相同或相似的分布，并未考虑到潜在攻击者恶意修改两种数据分布。

这相当于在一个人成长的过程中，故意对他进行错误的行为引导。恶意攻击者可以在测试时设计小幅度扰动，误导机器学习模型的预测，或将精心设计的恶意实例注入训练数据中，通过攻击训练引发AI系统产生错误判断。好比是从AI“基因”上就做了改变，让AI在训练过程中按错误的样本进行训练，最终变成被操控的“傀儡”，只是使用的人全然不知。

“深入研究潜在针对机器学习模型的攻击算法，对提高机器学习安全性与可信赖性有重要意义。”李博指出。

之前的研究者在衡量模型的防御性能时，基本只在一种攻击算法下进行测试，不够全面。攻击算法是经常变化的，需要考虑模型在多种攻击算法下和更强的攻击下的防御能力，这样才能比较系统地评估AI模型的防御能力。

再加上业界此前提出的各种“攻击算法排行榜”只包含一些零散的算法，测量攻击算法的环境只包含单一的防御算法，用于评测的数据集也不多，并没有合适的统计、度量标准。

阿里巴巴安全部技术总监薛晖表示，参与推进这项研究工作，除了帮助AI模型进行安全性的科学评估，也是为了促进AI行业进一步打造“强壮”的AI。

为解决上述问题，近日，清华大学、阿里安全、RealAI三方联合提出深度学习攻击防御算法及评测的基准平台。

不同于之前只包含零散攻防模型的对抗攻防基准，此次推出AI对抗安全基准基本上包括了目前主流的人工智能对抗攻防模型，涵盖了数十种典型的攻防算法。不同算法比测的过程中尽量采用了相同的实验设定和一致的度量标准，从而在最大限度上保证了比较的公平性。

除此之外，本次发布的AI安全排行榜也包括了刚刚结束的CVPR2021人工智能攻防竞赛中诞生的排名前5代表队的攻击算法。此次竞赛吸引到了全球2000多支代表队提交的最新算法，进一步提升了该安全基准的科学性和可信性。

“通过对AI算法的攻击结果和防御结果进行排名、比较不同算法的性能，建立AI安全基准具有重要学术意义，可以更加公平、全面地衡量不同算法的效果。”朱军介绍道。

AI算法的攻击结果和防御结果进行排名，实现不同算法性能的比较

 

“该基准评测平台利用典型的攻防算法和CVPR 2021比赛积累的多个性能优越的算法进行互相评估，代表当前安全与稳定性测量的国际标准。”RealAI副总裁唐家渝说。

越丰认为，该平台的发布对工业界和学术界都能带来正面的影响，比如工业界可以使用该平台评估目前AI服务的安全性，发现模型的安全漏洞。同时，也可为学术界提供一个全面、客观、公平、科学的行业标准，推动整个学术界在AI对抗攻防领域的快速发展。

清华方面介绍，本次发布的AI安全基准也是依托清华大学人工智能研究院研发的人工智能对抗安全算法平台ARES（Adversarial Robustness Evaluation for Safety）建立。ARES作为古希腊神话中的战神，双手持矛和盾是攻防合一的化身，集中体现了AI安全算法攻防博弈的特点。该平台对主流的攻防算法实现了模块化的设计，支持数十种主流攻防算法的实现，可以方便研究者和开发人员进行使用，有助于推动AI对抗攻防领域的发展。

清华大学、阿里安全、Real AI三方强调，该基准评测平台不是专属于某一家机构或者公司搭建的平台，需要工业界和学术界的共同参与才能把它打造为真正受认可的全面、权威的AI安全评估平台。因此，三方将联合不断在排行榜中注入新的攻击和防御算法，并且欢迎学术界和产业界的团队能提供新的攻防模型。

最后，张钹院士表示，AI的创新发展是大道理，纵观信息科技的发展历史，尽管信息科技发展异常迅猛，但基本上安全可控。而AI的发展却缓慢曲折，安全问题层出不穷。两者的差别在哪里？值得我们深思。不同在于，从信息革命一开始，信息的3大理论就已经建立，即图林机理论（1936），申论的通讯理论（1948），维纳的控制论（1948）。有了坚实的理论基础，从而引导信息技术健康地发展。AI则相反，它的理论基础至今没有建立，尽管经历了第一代AI的符号主义模型（知识驱动），和第二代AI的亚符号（连接）主义模型（数据驱动），由于它们均具有很大的局限性，不能构成AI的理论基础。由于缺乏理论指导，AI的发展处于难以控制的局面。必须解决这个“卡脖子”的基础理论问题，因此建立AI的理论基础是我们提出“第三代人工智能”的初衷。所谓的“第三代人工智能”，其发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能，利用知识、数据、算法和算力4个要素，建立新的可解释和鲁棒的AI理论和方法，从而发展安全、可信、可靠和可扩展的AI技术。这样发展第三代AI和AI治理一起抓，以达到相辅相成共同发展。

附1：基准测试平台网站http://ml.cs.tsinghua.edu.cn/adv-bench/

附2：ARES开源算法库https://github.com/thu-ml/ares