新加坡国立&UC伯克利提出模型对比联邦学习算法MOON

整个训练算法如图3所示。

文章图片
图3MOON算法
4实验
本文使用了3个图片数据集进行实验，包括CIFAR-10,CIFAR-100,和Tiny-ImageNet 。本文采取了不均匀划分的方法，将训练集划分到各个参与方上。比较的方法有SOLO ， FedAvg ， FedProx ，和SCAFFOLD ，其中SOLO指每个参与方不进行联邦学习，只用本地数据进行训练， FedProx和SCAFFOLD是基于数据分布不同的联邦学习算法。这里展示部分实验结果。
表1展示了10个参与方的设置下不同方法的效果。可以看到MOON比其他方法至少要好2% 。
表1不同方法收敛后测试准确率比较

文章图片
图4分别展示了CIFAR-100数据集上在50个参与方和100个参与方（每轮随机选择20个参与训练）的情况下不同方法的训练曲线。可以看到MOON提升明显，如果将模型对比损失的权重设为10 ， MOON的准确率可以比FedAvg高6-7% 。

文章图片
图4CIFAR-100上的不同方法性能比较
更多实验请阅读原论文。
5总结
本篇文章提出了一个简单有效的联邦学习算法MOON ，来提升在不同参与方数据分布不同情况下的训练效果。受启发于对比学习， MOON通过最大化同一数据在本地模型和全局模型上的特征相似度来矫正本地训练的模型更新方向。实验表明MOON相比其他联邦学习方法有明显的准确率提升。
https://icml.cc/virtual/2021/awards_detail
https://watch.videodelivery.net/b504b00c401ac24e41ab297a9f3781b9
【新加坡国立&UC伯克利提出模型对比联邦学习算法MOON | CVPR 2021】由于微信公众号试行乱序推送，您可能不再能准时收到AI科技评论的推送。为了第一时间收到AI科技评论的报道，请将“AI科技评论”设为星标账号在看” 。

新加坡国立&amp;UC伯克利提出模型对比联邦学习算法MOON | CVPR 2021( 二 )

新加坡国立&UC伯克利提出模型对比联邦学习算法MOON | CVPR 2021( 二 )