人民创投 | “你的深度学习框架包含15个漏洞”新知

Posted 2021-04-29 人民创投

■  来源 | 量子位（QbitAI）

■  整理 | 苏锋

编者按：

目前，一大批科技巨头和创业公司将目光聚集在可进行自主深度学习的AI身上。无人驾驶汽车、机器人医生、机器投资者等产品或概念越来越热。普华永道认为，到2030年，AI将会向世界经济贡献15.7万亿美元。“AI”是2017年的热词，就像“.com”是1999年的时髦用语那样，每一个人都宣称自己对AI感兴趣。但是，AI的深度学习框架是存在漏洞的，这些漏洞可能导致的隐患你是否清楚？

“注意！你的深度学习框架有漏洞！”

这个警告来自360安全实验室（Qixue Xiao、Deyue Zhang）、佐治亚大学（Kang Li）和弗吉尼亚大学（Weilin Xu）的研究者，他们在一篇论文中，对TensorFlow、Caffe、Torch三个深度学习框架中的第三方软件包进行了研究，并在其中查找漏洞，最后得出上述研究结论。

尽管这还只是一项初步研究，但研究人员仍然在三个框架中发现了15个漏洞，类型包括：DoS拒绝服务攻击、躲避攻击等。

他们说：“深度学习框架是复杂的，重度依赖大量开源软件包。”这些依赖库，也正是漏洞的根源。

潜藏风险的依赖库

一个典型的、用深度学习框架开发出来的AI应用，在部署时往往是这样的三层结构：

最上面一层，是开发者看得见的深度学习应用，包含应用逻辑、深度学习模型和相应的数据；中间一层是TensorFlow、Caffe等深度学习框架；最下面一层，则是底层框架依赖，也就是深度学习框架所用到的那些组件，比如说OpenCV、GNU LibC、NymPy、以及Google的protobuf等等。

每个深度学习框架，都依赖着大量第三方软件包。比如说使用最广泛的TensorFlow，就有97个Python依赖库；Caffe背后，有137个依赖库；老牌框架Torch7，也有48个Lua模块。

△ 深度学习框架的依赖库

当你训练图像识别算法的时候，也许并不那么关心Caffe中用到的OpenCV开源库或者TensorFlow依赖的numpy，但是，风险正蕴含其中。

攻击从哪来？

要了解深度学习应用可能面临的风险，就要先清楚它们的攻击面，也就是这类软件可能受到怎样的攻击。

对于不同的应用，可能出现的攻击多种多样，不过几位研究员在论文中总结说，有三个攻击面，能够代表绝大部分情况。

他们以MNIST手写数字数据集为例对这三个攻击面做了说明：

输入图像畸形

深度学习应用在进行分类或识别等任务时，会从文件或者网络读取输入数据，在这个环节中，攻击者可能会构建畸形的输入。

需要特别说明的是，如果从摄像头等传感器直接获取输入数据，受到这种攻击的可能性会小很多，但也无法消除。

训练数据畸形

在构建深度学习应用的过程中，需要用数据对模型进行训练，而训练所用的数据集就可能被污染、打上错误的标签。这种攻击方式叫做数据下毒攻击。

模型畸形

如果深度学习开发者使用别人搭建的模型，就可能会遭受这种攻击。

当下，肿瘤的治疗模式通常有两种：一种是“Cell Killing”（细胞杀伤），另一种是“Cell Control”（细胞调节）。传统的手术、化疗、放疗等治疗方法是属于前者，而后者以提高机体的生物反应能力(包括免疫力)为目的，控制肿瘤发展，免疫治疗就是其中之一。特别是近些年，癌症免疫疗法的快速发展，使其成为人类对抗癌症的新“武器”。

跨国的制药巨头对基因治疗领域投入了大量资金。2014年12月辉瑞（Pfizer）与美国罕见病基因治疗公司Spark Therapeutics签署合作协议，共同开发B型血友病的基因治疗产品。2015年4月，百时美施贵宝（BMS）与基因治疗领域的领导者——荷兰的生物技术公司uniQure签署了一份高达10亿美元合作协议，共同开发重组腺相关病毒（AAV）表达载体的心血管基因治疗药物。2016年，百健公司宣布投资20亿美元与宾夕法尼亚大学以及REGENEXBIO公司合作开发基于AAV载体的基因治疗药物。

都不安全

以上面提到的第一个攻击面（输入图像畸形）为例，假设你的输入数据来自文件或者网络，TensorFlow、Caffe和Torch就有十几个漏洞，可能遭受DOS拒绝服务攻击、躲避攻击或者系统妥协攻击，比如说下表列出的这些：

相比较而言，TensorFlow算是表现出色的，但其中也有两个Python软件包存在DoS攻击风险。

开源计算机视觉代码库OpenCV中的漏洞最多，总共发现了11处。Caffe和Torch框架中都使用了OpenCV。另外，Caffe中还有图像处理库libjasper和图像浏览器OpenEXR的易受攻击版本。

OpenCV的例子如下：

我们来详细看一下这几类攻击：

威胁一、DoS拒绝服务攻击

我们在深度学习框架中发现，最常见的漏洞是软件错误，导致程序崩溃，或者进入死循环，或者耗尽所有的内存。

威胁二、躲避攻击

面对脆弱的深度学习框架，攻击者可以利用软件漏洞实施躲避攻击，例如：1、通过漏洞覆盖分类结果，修改特定内存内容 2、劫持控制流程以跳过或重新排序模型执行。

威胁三、系统妥协

攻击者可以利用漏洞劫持控制流，或者远程控制托管深度学习应用的系统。这个情况发生在深度学习应用作为云服务运行，并从网络输入馈送时。

这项研究，已经在敦促框架开发者对安全性进行改进了。作者们在论文中说：“我们的研究结果已经得到相关开发商的证实，其中很多已经根据我们的建议进行了修补。”

人民创投精选

   

   

   

···