联邦学习笔记--论文汇总（十三）

Posted 2021-06-20 为了明天而奋斗

Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning

自适应联邦剪枝：提高通信和泛化能力

背景

1. 具备传感器的智能设备，常常被携带，可以获取大量原始训练数据，个人设备可以计算深度模型，通信是主要瓶颈，加剧了掉队者的数量和丢失的概率，通信上百轮，通信时间很久。
2. 客户机向服务器发送完整的模型更新，丢弃带宽有限的客户机，学习到的低效模型降低用户体验，增加客户机计算量并不能解决掉队者问题，有损压缩会导致准确率下降，不一定能解决通信时间问题；提高通信效率扩展联邦学习能力。
3. 边缘计算设备容量，较小的局部数据集不需完整模型上训练，获得良好泛化效果，

创新

1.在全局模型的子集合中选一个最好的，减少下载和上传的通信footprint，与压缩结合使用，选择性删除模型子集会显著减少服务器交换的权重书，不降低全局模型质量。
2.AFD，每个客户机根据模型激活的分数选择子模型，提供服务端的最大更新（部分小模型，同时减少模型权重的子集）
3.泛化能力和时间与收敛的关系，总数据量和通信延迟，速度提高57倍

现工作

1.联邦平均，计算更高质量的更新，使用更少的通信训练深度网络
2.压缩客户端更新减少带宽，压缩方法包括：sketched 更新，计算一个定期的模型更新，压缩（子采样、概率量化、梯度稀疏）；structured 更新，（低秩和随机掩码，动量修正，局部梯度积累和局部梯度裁剪）

问题阐述

关注同步联邦学习算法轮训练，学习各客户机的真实张量W，H是梯度标量

流程

客户端用子模型训练一个本地更新，子模型是全局模型的子集，激活评分图（确定哪些激活被转移或删除，而不是随机丢弃），卷积层过程删除过滤器，每次会计算出不同子模型的梯度，不同子模型泛化能力不同。

多模型AFD

1. 选择激活分数,参数为k，表示构建子模型时被丢弃的激活百分比。

当签的损失值低于之前的损失值时，激活索引标签，为M分配正值，激活分数越低，被放弃的几率越高。

单模型AFD

1. 每一轮中所有选中的客户端创建相同的子模型，只保留一个激活分数映射M，如果每轮的客户都很小，激活分数映射不会频繁更新，无法准确反应激活的重要性，

比较了 FD,AFG DGC