An Upload-Efficient Scheme for Transferring Knowledge From a Server-side Pre-trained Generator to Clients in Heterogeneous Federated Learning

作者来自上海交大

首先说一下联邦学习 (Federated Learning)的优势，以mobile device为训练核，直接从real world data训练，而不是从网上随便就能找到的proxy data进行训练。

异质联邦学习(heterogenous Federated Learning)中，每一个client都拥有不同的网络结构，甚至于执行不同的任务。怎样在这些不同的client之间进行knowledge sharing成为了一个巨大的挑战。
作者遍提出了一个upload-efficient knowledge transfer scheme —— Federated Knowledge-Transfer Loop（FedKTL）。

Federated Learning发展脉络：

最早期：Traditional Federated Learning (tFL)，对包含server在内的所有client训练一个global model。这个时候，模型和数据都是异质的。数据的异质化导致client与client之间的performance存在较大的差异，这样的现象也被称为representation disparity。

Personalized Federated Learning (pFL)，可以针对每一个client训练自己定制化的模型。数据是异质的，但每个client模型却是同质的。这里同质指的是client的模型架构是相同的，不同的仅仅是模型参数而已。这样做存在的缺点是client与server之间的参数更新将会导致大量的传输损耗，而且client的模型参数不具有隐私性。

进一步地，Heterogeneous Federated Learning (HtFL)被提出，它对client的模型架构不作限制。但面临的挑战是，每一个client在进行知识分享时存在classifier bias，这样使得global knowledge存在偏差。

训练federated model很难用一个global dataset

因为每一个client面临的任务不一样，开发这样的数据集完全是吃力不讨好的，因为只要client面对的问题一变，那么就需要重新创造一个数据集，不会有人费这个心力去做的。

所以HtFL的训练方式是，用一个pre-trained的生成器来产生在一个邻域内的unlabled data。

问：什么是global auxiliary model？

用一个辅助的全局模型(auxiliary global model)对client model进行知识蒸馏。

缺点：server与client之间巨大的通信开销

问：什么是global class-wise prototypes?

缺点：biased prototype

FedKTL