高精尖中心论文入选国际顶会ACL 2022,进一步拓展长安链隐私计算能力

Posted 长安链开源社区

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了高精尖中心论文入选国际顶会ACL 2022,进一步拓展长安链隐私计算能力相关的知识,希望对你有一定的参考价值。

THE-X的核心算法将进一步拓展“长安链”隐私计算对于云服务场景下大模型推断的支持,以持续不断的技术创新,满足未来各行业人工智能模型大规模应用的隐私保护需求。

——正文引自公众号:未来区块链与隐私计算高精尖中心

     近日,未来区块链与隐私计算高精尖创新中心研究团队的论文《THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption》成功入选自然语言处理领域国际顶级学术会议ACL 2022 Findings。THE-X是面向预训练大模型的同态加密解决方案,首次使得Transformer结构能够进行密文推断,对于大模型的发展和大规模应用具有重要意义。

      ACL 2022由国际计算语言学学会主办,是自然语言处理与计算语言学领域最高级别的学术会议,也是中国计算机学会(CCF) 推荐目录中的A类会议,每年吸引全球大量学者投稿和参会。今年ACL首次引入滚动审稿(Rolling Review)机制,只有20%左右的论文被接收。在该论文中,来自中心“神经网络的同态加密算子设计及密态推断”任务的研究团队提出了使用同态加密解决Transformer模型在云端推断时隐私保护问题的创新算法,取得了Lattice理论下的隐私安全。

      随着越来越多基于Transformer构建的预训练模型采取云端部署的架构,而诸如用户的搜索历史,医疗记录,银行账单等敏感信息在经由预训练模型进行处理之前,必须转成明文格式,导致隐私泄露的风险大大增加。同态加密允许模型直接在密文数据上进行计算,是近年来数据隐私问题的重要解决方案。然而,目前的同态加密只支持简单的加法和乘法计算,无法支持Transformer结构的复杂计算。

      面对这一棘手问题,研究团队提出了一种算子估计的工作流THE-X,能够将训练好的Transformer模型转换成同态加密支持的算子,从而使得预训练模型能够直接在密文上开启推断。论文主要针对Transformer结构中的复杂算子,如GELU、Softmax、LayerNorm等。在GLUE和SQUAD等8个数据集上的实验结果表明,THE-X可以为各种不同的下游任务开启密文计算能力,并且不显著降低模型的效果。

图1  使用THE-X进行云端大模型推断

图2  THE-X在多种不同任务上的结果

     作为中心“神经网络的同态加密算子设计及密态推断”任务的重要研究内容之一,THE-X的核心算法将进一步拓展“长安链”隐私计算对于云服务场景下大模型推断的支持,以持续不断的技术创新,满足未来各行业人工智能模型大规模应用的隐私保护需求。

RECOMMEND

推荐阅读

长安链ChainMaker 交易池交易防重优化

长安链交易防重之布谷鸟过滤器

BigFilter全局交易防重组件的介绍与应用

Tips

更多长安链开源项目QA,可登录开源社区、技术文档库查看。

下载源码

https://git.chainmaker.org.cn/chainmaker/chainmaker-go

查阅文档

https://docs.chainmaker.org.cn/

长安链ChainMaker案例征集

http://www.wenjuan.com/s/UZBZJvhFGte/

“长安链ChainMaker”是国内首个自主可控区块链软硬件技术体系,由微芯研究院联合头部企业和高校共同研发,具有全自主、高性能、强隐私、广协作的突出特点。长安链面向大规模节点组网、高交易处理性能、强数据安全隐私等下一代区块链技术需求,融合区块链专用加速芯片硬件和可装配底层软件平台,为构建高性能、高可信、高安全的数字基础设施提供新的解决方案,为长安链生态联盟提供强有力的区块链技术支撑。取名“长安链”,喻意“长治久安、再创辉煌、链接世界“。

以上是关于高精尖中心论文入选国际顶会ACL 2022,进一步拓展长安链隐私计算能力的主要内容,如果未能解决你的问题,请参考以下文章

INTERSPEECH 2022 | 钉钉蜂鸣鸟音频实验室论文入选国际顶会,创新提出窄带滤波网络架构

学术顶会再突破!计算平台MaxCompute论文入选国际顶会VLDB 2021

伯克利摘得最佳论文 | ACL2022奖项公布

伯克利摘得最佳论文 | ACL2022奖项公布

国内首篇云厂商 Serverless 论文入选全球顶会:突发流量下,如何加速容器启动?

厉害了,网易伏羲三篇论文上榜 AI 顶会 ACL