联邦学习实战---读书笔记
Posted 为了明天而奋斗
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了联邦学习实战---读书笔记相关的知识,希望对你有一定的参考价值。
概述
- 图像处理:卷积网络
- 自然语言处理:BERT
- 推荐系统: 科技或互联网公司分析历史数据
燃料:互联网数据中心预测互联网数据2021年达到50ZB,2025年达到175ZB
燃料——>资产(提升产品质量、企业不良贷款)——>大数据交易
数据难共享—>依赖数据的人工智能难发展——>数据作为深度算法的燃料——>提供对比基准
实际数据规模小、缺重要信息——>高质量数据太少
联邦学习
在模型训练过程中,模型的相关信息(模型参数、模型结构、参数梯度)在各参与方之间交换(明文、数据加密、添加噪声)
联邦学习在分布式数据源上构建机器学习模型,由于数据分布不平衡,联邦学习在开始训练时,会剔除掉异常的硬件设备,效果比直接集中训练效果好。
中心化差分隐私:依赖可信的第三方收集数据(相邻数据集输出的相似性)
本地化差分隐私(LDP):数据隐私化的工作转移到每个参与方(两条记录的输出相似性)
中心化差分隐私分为串行组合和并行组合
串行组合:n个算法
并行组合:n个算法,数据集分为n个集合。
联邦学习实例(横向、cifar-10、ResNet-18):
配置参数:
- 训练的客户端数量:每一轮迭代选取部分客户端的数量
- 全局迭代次数:服务端和客户端的通信次数
- 迭代次数:客户端在本地模型训练的迭代次数
- 本地训练相关算法的配置:本地训练的参数配置,学习率、训练样本大小、优化算法
- 模型信息:ResNet-18
- 数据信息:切分数据集
服务端:
- 构造函数: 配置信息拷贝、获取模型
- 聚合函数
- 评估函数
客户端:
1.定义构造函数:配置信息拷贝到客户端、获取模型。配置本地数据集
2.本地训练函数
以上是关于联邦学习实战---读书笔记的主要内容,如果未能解决你的问题,请参考以下文章