联邦学习实战---读书笔记

Posted 2022-01-02 为了明天而奋斗

概述

1. 图像处理：卷积网络
2. 自然语言处理：BERT
3. 推荐系统: 科技或互联网公司分析历史数据

燃料：互联网数据中心预测互联网数据2021年达到50ZB，2025年达到175ZB

燃料——>资产（提升产品质量、企业不良贷款）——>大数据交易

数据难共享—>依赖数据的人工智能难发展——>数据作为深度算法的燃料——>提供对比基准

实际数据规模小、缺重要信息——>高质量数据太少

联邦学习

在模型训练过程中，模型的相关信息（模型参数、模型结构、参数梯度）在各参与方之间交换（明文、数据加密、添加噪声）

联邦学习在分布式数据源上构建机器学习模型，由于数据分布不平衡，联邦学习在开始训练时，会剔除掉异常的硬件设备，效果比直接集中训练效果好。

中心化差分隐私：依赖可信的第三方收集数据（相邻数据集输出的相似性）
本地化差分隐私（LDP）：数据隐私化的工作转移到每个参与方（两条记录的输出相似性）

中心化差分隐私分为串行组合和并行组合
串行组合：n个算法
并行组合：n个算法，数据集分为n个集合。

联邦学习实例（横向、cifar-10、ResNet-18）：
配置参数：

1. 训练的客户端数量：每一轮迭代选取部分客户端的数量
2. 全局迭代次数：服务端和客户端的通信次数
3. 迭代次数：客户端在本地模型训练的迭代次数
4. 本地训练相关算法的配置：本地训练的参数配置，学习率、训练样本大小、优化算法
5. 模型信息：ResNet-18
6. 数据信息：切分数据集

服务端：

1. 构造函数: 配置信息拷贝、获取模型
2. 聚合函数
3. 评估函数

客户端：
1.定义构造函数：配置信息拷贝到客户端、获取模型。配置本地数据集
2.本地训练函数