联邦学习论文汇总---十六

Posted 2021-06-20 为了明天而奋斗

Client-Edge-Cloud Hierarchical Federated Learning

客户端–云分层联邦学习

背景

1.云或边缘只有一个中心参数服务器，
2.深度学习在强大的计算平台训练，终端设备生成和分发转移到中央服务器时，违反隐私问题。

创新点

1.允许多个边缘服务器执行部分模型聚合，
2.引入中间边缘服务器，减少模型训练时间和终端设备的能量消耗
3.基于边缘的联邦学习，参数服务器位于邻近边缘（基站），但是服务器访问的客户端数量有限，训练性能损失。
4.与云边端相比，分层的联邦学习减少与云的通信，使客户端边缘更新，显著减少运行时间和本地迭代的数量。
5.联邦平均算法扩展到层次设置还可以收敛吗？

内容

1.HierFAVG

2.传统两层联邦学习
一个中心参数服务器和n个客户端，梯度下降的K步进行通信和聚合。

3.客户端-云分层联邦学习(双循环)

客户端每$k_1$步更新后，每个边缘服务器聚合模型，每$k_2$边缘模型聚合，云服务器聚合所有的边缘模型，

理论证明

1.K：本地迭代次数分为B个云区间，每个区间长度为$k_1{k}_2$，或者分为$B{k}_2$个端区间，长度为$k_1$
2.局部聚合和云聚合，【p】表示边缘区间$(p-1)k_1$到$p{k}_1$，{q}表示云边端从$(q-1)k_1{k}_2$到$q{k}_1{k}_2$

定理

1. 假设光滑、连续、凸，存在权重有上界M，
   
   2.梯度收敛
   边缘端与客户端，云端与边缘端，散度越大，约非独立同分布
   
   2.凸损失函数
   3.非凸损失函数

当客户端数据是非独立同分布的，权重偏差包含两个部分，边缘云发散，第二部分是有客户端边缘发散，只有一个指数$k_1$,权重偏差越小，收敛速度越快。

结论

1.当与云通信频率$k_1{k}_2$固定，与边缘通信越频繁，训练过程越快。
2.当iid时，与边缘服务器通信频率固定，降低与云服务器的通信频率不会减慢训练过程。可以减少与云的高成本通信。

Federated Meta-Learning with Fast Convergence and Efficient Communication

背景

1基于初始化的元学习算法MAML，快速适应和对新任务的良好泛化
2.元学习将一个参数化的算法通过元训练过程从大量任务中学习，在每个任务中快速训练一个人特定的模型。
3.任务由支持集和查询集组成，支持机上训练，查询集测试，测试集结果更新算法
4.模型不可知的元学习MAML算法可通过k-way任务进行元学习，

创新

1.元学习+联邦学习
2.算法在服务器上维护，分发给客户端训练
3. FedMeta，灵活共享参数化算法，并应用到每个客户端有高度个性化的推荐业务，准确性更高

最近工作

1. 为每个用户增加更多的计算量
2. 在局部目标函数加入正则项
3. 考虑多任务学习，提出元对偶优化方法，不适用于非凸深度学习模型。
4. 将每个客户端视为一个任务

内容

联邦元学习除了服务器和客户机之间传输的是一个算法，不是全局模型，共享算法比共享模型更灵活

元学习目标：对算法A进行元训练，快速训练模型，算法A在支持集$D_S^T$训练模型F, 输出${\theta }_T$(内部更新)，最后更新最小的测试损失（外部更新），

损失函数为：