联邦学习在光大科技的落地应用

Posted 2022-01-07 博文视点

数据是新时代的驱动引擎，在人工智能越来越重要的今天，拥有海量数据关乎成败。

由于数据是由不同机构、企业、部门产生并拥有的，传统的汇集数据再进行加工处理和价值挖掘的模式已经不再适应时代发展的要求。

随着社会的发展，用户隐私和数据安全的关注度正不断提高。2020年被认为是隐私保护计算技术应用爆发的元年。近期颁布施行的《中华人民共和国数据安全法》和《中华人民共和国个人信息保护法》更是数据安全和个人信息保护合规要求严格化和全面化的直接体现。数据共享和数据合规使用面临着严峻的挑战！

联邦学习作为隐私保护计算的重要技术路径，正是应对这一挑战的关键技术之一！

过去几年里，不仅在研究领域，还在产业领域，尤其是金融科技领域，我们见证了隐私保护计算技术特别是联邦学习从无到有、由面对质疑到逐步崭露头角的历程。

联邦学习基于同态加密等方法来保证本地训练数据不泄露，在此前提下，同步实现多个数据拥有者协同训练一个共享的机器学习模型。根据应用场景的不同，联邦学习逐步发展出了横向联邦学习、纵向联邦学习等一系列模式。

光大科技在赋能光大集团协同发展的过程中，利用联邦学习等隐私保护计算技术积极探索“数据不动模型动，隐私不显价值显”的数据价值挖掘模式，积累了大量案例和实践经验。对联邦学习“能做什么、该如何做、将做什么”特别是结合金融科技领域的数据共享现状、数据合规要求，以及金融控股集团的数据联合应用现实需求，有深入的思考。

希望以金融科技为突破口，以业务场景为引导，以实践推广为目标，以创新发展为初心，为联邦学习走进产业应用的临门一脚贡献绵薄之力。

“So we publish to share”

《联邦学习原理与应用》由电子工业出版社出版，由光大科技有限公司大数据专家团队撰写。成员包括：
向小佳，光大科技有限公司副总经理。光大科技有限公司植根于金融科技领域,于2018年就开始探索数据的加密共享。在国内金控领域,他于2018年倡导发起联邦学习应用研究,并将其在风控、营销方面落地,建设了自主可控的联邦学习平台。他曾任中国科学院副研究员和硕士生导师、哥伦比亚大学访问学者、华为架构师。他在云计算、大数据、机器学习领域具有丰富的学术与产业应用经验。他于2010年获得清华大学博士学位,曾参与多个“863”“973”项目,主持国家自然科学基金项目一项,发表期刊和会议论文20余篇。

李琨，光大科技有限公司追光实验室负责人，拥有国内外多个行业数据挖掘建模和算法创新领域的多年实践经验，现在致力于金控集团数据协同和数据挖掘方向的解决方案实现与算法创新。他于2011年获得北京大学计算数学博士学位，发表算法相关的期刊和会议论文10余篇。

王鹏，光大科技有限公司大数据研究团队负责人。他现在负责金控集团联邦学习生态系统的建设和技术创新，参与了多个隐私计算行业标准制定，是联邦学习开源项目FATE专家技术指导委员会成员。他拥有超过10余年的大数据、人工智能系统设计经验，并在金控集团应用领域中实现了技术创新，其创新成果获得了多项行业奖项。

田江，工学博士，光大科技有限公司大数据部负责人，在大数据、人工智能领域拥有丰富的理论研究及实践经验，发表国内外期刊和会议论文30余篇，参与起草国家标准《数据管理能力成熟度评估模型》并受聘为评估专家，同时多次获得中国人民银行信息科技课题研究奖项。

内容简介
本书是光大对近年来在数据赋能探索工作的一个总结，既是关于联邦学习技术和上手实践方法的介绍，又有关于联邦学习在业界，特别是金融科技行业的应用实践。

全书循序渐进，由浅入深，涵盖了联邦学习相关的背景历程、算法模型、平台框架、应用实战等丰富内容，还针对联邦学习与数据要素流通、自然语言处理等新兴领域的结合，提出了有益的思考与展望。

本书基于金融科技领域的数据共享现状、数据合规要求，结合金控集团的现实需求，对当前人工智能发展所面临的小数据及隐私保护等挑战提供了可供参考的解决方案，为解决金融数据合规共享的难题，加速人工智能与金融业务的融合，提供了宝贵经验。

第 1 章介绍联邦学习的发展背景和历程，以及金融业中数据共享的机遇和挑战。

第 2 章至第 5 章介绍不同类型的机器学习方法在联邦学习模式下的实现，以及关键算法原理。

第 6 章介绍联邦学习开源框架 FATE 的架构和部署，以及在金融控股集团内大数据平台上建立跨机构统一数据科学平台的实施方案。

第 7 章从建模者的角度展示了典型建模流程的实战过程。

第 8 章和第 9 章结合在金融相关行业的实践，以多个应用案例和解决方案的形式，介绍联邦学习在营销运营和风险管理等不同业务方向上不同层次的应用实践。

第 10 章从人工智能的不同方向介绍联邦学习应用扩展及前景。

附录介绍了联邦学习框架中相关的密码学工具。

适读人群
本书可以作为计算机科学、人工智能和机器学习专业的学生了解联邦学习的入门书籍，也可供大数据、人工智能、金融科技领域的应用程序开发人员、数据挖掘人员，乃至研究机构研究人员阅读，提供创新思路和视角。

关注算法原理的读者可以重点关注第2_{5章，关注技术平台搭建和算法使用的读者可以重点关注第6}7章，关注应用场景实践的读者可以重点关注第8~10章。

寄语
我们把平时工作中的创新思考，以及积累的经验，整理撰写出来，并不寄希望能去改变行业发展的进程，更多的是希望把我们的发现、发明、心得、体会、思考、思路，贡献给其他同行，还有将来那些异时异地的好朋友们，让他们能从中受益，以推进他们的工作。从而推动联邦学习的应用更快落地，进而实现隐私保护下的数据价值共享。