pytorch中model.parameters()和model.state_dict()使用时的区别

Posted 2022-03-22 联邦学习小白

联邦学习模拟实验中涉及模型参数的聚合和广播，需要提取模型参数。这个时候一般有两个选择，model.parameters() 和 model.state.dict()。表面上看这两者的区别只在于 model.parameters() 方法返回的是一个生成器 generator，里面只有模型的参数，而没有对应的网络层名称；而 model.state_dict() 返回的则是一个字典 key:value，key 是网络层名称，value 则是该层的参数。

但我实际做实验的时候发现，分别用这两种方法进行聚合的实验结果相去甚远，测试准确率甚至能相差 10 个点以上。

一波网上搜索发现，当模型中有非训练参数时，这两者其实还有区别，即 model.parameters() 只包含可训练参数，而 model.state_dict() 则包含了所有参数。
比如批量归一化层 BN layer 除了 2 个可训练参数 $\alpha$ 和 β 外，还有 running_mean 和 running_var 这2个统计量，而 model.parameters() 是不包含这两个统计量的，只有 model.state_dict() 将这两个统计量包含在其中。
至于是否把这两个统计量纳入聚合的范畴，可以看我之前总结的BN在联邦学习中的应用

所以，如果是用 model.parameters() 来提取参数进行聚合和广播的话，相当于每个客户端还保留了自己的非训练参数，如 running_mean 这种统计参数，那这是否相当于一种个性化设计呢？那还能不能用单一的全局模型来做最后的性能测试呢？

我自己做了实验，在使用 model.parameters() 来提取参数的情况下，用全局模型和本地模型来对同一测试集做预测的结果确实有很大出入！这时候的全局模型准确率只有 20% 左右，而本地模型可以去到 70%+。

如果有小伙伴有不同的实验结果或不同的见解，欢迎来一起讨论！

参考：
https://discuss.pytorch.org/t/batch-norm-parameters-not-included-in-model-parameters/10265