高精尖中心论文入选国际顶会ACL 2022,进一步拓展长安链隐私计算能力
Posted 长安链开源社区
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了高精尖中心论文入选国际顶会ACL 2022,进一步拓展长安链隐私计算能力相关的知识,希望对你有一定的参考价值。
THE-X的核心算法将进一步拓展“长安链”隐私计算对于云服务场景下大模型推断的支持,以持续不断的技术创新,满足未来各行业人工智能模型大规模应用的隐私保护需求。
——正文引自公众号:未来区块链与隐私计算高精尖中心
近日,未来区块链与隐私计算高精尖创新中心研究团队的论文《THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption》成功入选自然语言处理领域国际顶级学术会议ACL 2022 Findings。THE-X是面向预训练大模型的同态加密解决方案,首次使得Transformer结构能够进行密文推断,对于大模型的发展和大规模应用具有重要意义。
ACL 2022由国际计算语言学学会主办,是自然语言处理与计算语言学领域最高级别的学术会议,也是中国计算机学会(CCF) 推荐目录中的A类会议,每年吸引全球大量学者投稿和参会。今年ACL首次引入滚动审稿(Rolling Review)机制,只有20%左右的论文被接收。在该论文中,来自中心“神经网络的同态加密算子设计及密态推断”任务的研究团队提出了使用同态加密解决Transformer模型在云端推断时隐私保护问题的创新算法,取得了Lattice理论下的隐私安全。
随着越来越多基于Transformer构建的预训练模型采取云端部署的架构,而诸如用户的搜索历史,医疗记录,银行账单等敏感信息在经由预训练模型进行处理之前,必须转成明文格式,导致隐私泄露的风险大大增加。同态加密允许模型直接在密文数据上进行计算,是近年来数据隐私问题的重要解决方案。然而,目前的同态加密只支持简单的加法和乘法计算,无法支持Transformer结构的复杂计算。
面对这一棘手问题,研究团队提出了一种算子估计的工作流THE-X,能够将训练好的Transformer模型转换成同态加密支持的算子,从而使得预训练模型能够直接在密文上开启推断。论文主要针对Transformer结构中的复杂算子,如GELU、Softmax、LayerNorm等。在GLUE和SQUAD等8个数据集上的实验结果表明,THE-X可以为各种不同的下游任务开启密文计算能力,并且不显著降低模型的效果。
图1 使用THE-X进行云端大模型推断
图2 THE-X在多种不同任务上的结果
作为中心“神经网络的同态加密算子设计及密态推断”任务的重要研究内容之一,THE-X的核心算法将进一步拓展“长安链”隐私计算对于云服务场景下大模型推断的支持,以持续不断的技术创新,满足未来各行业人工智能模型大规模应用的隐私保护需求。
RECOMMEND
推荐阅读
Tips
更多长安链开源项目QA,可登录开源社区、技术文档库查看。
下载源码
https://git.chainmaker.org.cn/chainmaker/chainmaker-go
查阅文档
https://docs.chainmaker.org.cn/
长安链ChainMaker案例征集
http://www.wenjuan.com/s/UZBZJvhFGte/
“长安链ChainMaker”是国内首个自主可控区块链软硬件技术体系,由微芯研究院联合头部企业和高校共同研发,具有全自主、高性能、强隐私、广协作的突出特点。长安链面向大规模节点组网、高交易处理性能、强数据安全隐私等下一代区块链技术需求,融合区块链专用加速芯片硬件和可装配底层软件平台,为构建高性能、高可信、高安全的数字基础设施提供新的解决方案,为长安链生态联盟提供强有力的区块链技术支撑。取名“长安链”,喻意“长治久安、再创辉煌、链接世界“。
以上是关于高精尖中心论文入选国际顶会ACL 2022,进一步拓展长安链隐私计算能力的主要内容,如果未能解决你的问题,请参考以下文章
INTERSPEECH 2022 | 钉钉蜂鸣鸟音频实验室论文入选国际顶会,创新提出窄带滤波网络架构
学术顶会再突破!计算平台MaxCompute论文入选国际顶会VLDB 2021