联邦学习实战---读书笔记

Posted 为了明天而奋斗

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了联邦学习实战---读书笔记相关的知识,希望对你有一定的参考价值。

概述

  1. 图像处理:卷积网络
  2. 自然语言处理:BERT
  3. 推荐系统: 科技或互联网公司分析历史数据

燃料:互联网数据中心预测互联网数据2021年达到50ZB,2025年达到175ZB

燃料——>资产(提升产品质量、企业不良贷款)——>大数据交易

数据难共享—>依赖数据的人工智能难发展——>数据作为深度算法的燃料——>提供对比基准

实际数据规模小、缺重要信息——>高质量数据太少

联邦学习

在模型训练过程中,模型的相关信息(模型参数、模型结构、参数梯度)在各参与方之间交换(明文、数据加密、添加噪声)

联邦学习在分布式数据源上构建机器学习模型,由于数据分布不平衡,联邦学习在开始训练时,会剔除掉异常的硬件设备,效果比直接集中训练效果好。

中心化差分隐私:依赖可信的第三方收集数据(相邻数据集输出的相似性)
本地化差分隐私(LDP):数据隐私化的工作转移到每个参与方(两条记录的输出相似性)

中心化差分隐私分为串行组合和并行组合
串行组合:n个算法
并行组合:n个算法,数据集分为n个集合。

联邦学习实例(横向、cifar-10、ResNet-18):
配置参数:

  1. 训练的客户端数量:每一轮迭代选取部分客户端的数量
  2. 全局迭代次数:服务端和客户端的通信次数
  3. 迭代次数:客户端在本地模型训练的迭代次数
  4. 本地训练相关算法的配置:本地训练的参数配置,学习率、训练样本大小、优化算法
  5. 模型信息:ResNet-18
  6. 数据信息:切分数据集

服务端:

  1. 构造函数: 配置信息拷贝、获取模型
  2. 聚合函数
  3. 评估函数

客户端:
1.定义构造函数:配置信息拷贝到客户端、获取模型。配置本地数据集
2.本地训练函数

以上是关于联邦学习实战---读书笔记的主要内容,如果未能解决你的问题,请参考以下文章

阅读笔记联邦学习实战——联邦学习攻防实战

阅读笔记联邦学习实战——联邦学习医疗健康应用案例

阅读笔记联邦学习实战——联邦学习视觉案例

阅读笔记联邦学习实战——联邦学习智能用工案例

阅读笔记联邦学习实战——用Python从零实现横向联邦图像分类

阅读笔记联邦学习实战——联邦个性化推荐案例