
在联邦学习中武威pvc管道管件胶,如何同时兼顾模型能、数据隐私和通信开销,是个亟需解决的挑战。
在实际应用中,各客户端往往采用不同的模型架构,例如部分客户端使用卷积经网络,而其他客户端则采用 Transformer,形成典型的模型异构场景,这进步增加了联邦学习的优化难度。
为解决上述难题,来自信通院泰尔英福公司、清华大学等校的联研究团队,提出了种基于表征纠缠的联邦学习框架(Federated Representation Entanglement,FedRE)。
该框架在保证模型能的前提下,有保护数据隐私并降低通信开销,同时可适配模型异构与模型同构两类联邦学习场景。
论文标题:FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning
论文链接:https://arxiv.org/pdf/2511.22265
代码仓库:https://github.com/AIResearch-Group/FedRE
动机:如何兼顾联邦学习的模型能、数据隐私与通信开销?
在模型异构场景下,多个客户端采用不同架构的表征提取器(如 ResNet,ViT),但分类器架构保持致(即任务致),因此法像 FedAvg 那样直接进行模型参数的聚。
为解决这问题武威pvc管道管件胶,个可行思路是利用客户端表征在服务器端训练全局分类器,同时兼顾隐私保护与通信率。
奥力斯 pvc管道管件胶批发 联系人:王经理 手机:15226765735(微信同号) 地址:河北省任丘市北辛庄乡南代河工业区
种朴素的法是 FedAllRep,该法将每个客户端的所有样本表征上传至服务器用于训练全局分类器。
由于能够充分利用所有样本的表征,该法通常能够获得较好的模型能(如 Figure 2 左图所示),但其通信开销较大,并且容易受到表征逆向攻击进而泄漏隐私。
为缓解此问题,FedGH 采用类别原型作为客户端知识上传至服务器训练全局分类器。
该法能够有降低通信成本并增强隐私保护能力。但由于类原型主要刻画类别中心信息,可能致全局分类器过度关注类别原型,进而形成较为锐的决策边界(如 Figure 2 中间所示),终影响模型能。
上述法的局限启发了 FedRE 的设计,其引入纠缠表征作为种新的客户端知识表示式。
具体而言,在每个客户端,FedRE 通过随机加权的式,将来自不同类别的本地表征融为个纠缠表征,并生成对应的纠缠标签编码。
随后,每个客户端仅需上传个纠缠表征及其纠缠标签编码至服务器,用于训练全局分类器。
由于纠缠标签包含跨类别的监督信号,且在每轮通信中都会重新采样权重以增加多样,全局分类器在训练过程中能够同时考虑多个类别武威pvc管道管件胶,从而避对单类别过度自信,保温护角专用胶学习到加平滑的决策边界(如 Figure 2 右图所示)。
此外,个纠缠表征融了客户端的所有本地表征,增加了表征逆向攻击的难度;同时,每个客户端仅上传个纠缠表征,也进步降低了通信开销。
法:FedRE 整体工作流程是什么?
如图所示,FedRE 框架主要包含三个步骤:
,各客户端利用本地数据完成局部模型训练新。
二,各客户端对本地所有表征进行聚(具体法请参考原文,可采用多种策略),生成统的纠缠表征,同时聚对应的标签编码形成统的纠缠标签编码,并上传至服务器。
后,服务器利用收到的纠缠表征训练全局分类器,并将新后的全局模型下发给各客户端,用于替换局部模型的分类器,进入下轮迭代。
实验:能、隐私和通讯开销的评估果如何?模型能评估
Table 1 展示了模型异构设置下的实验结果(模型同构结果请参见原文附录)。
整体来看武威pvc管道管件胶,FedRE 取得了较为优异的能表现,并优于 FedGH。
这在定程度上表明,相较于基于类别原型的法,采用纠缠表征训练全局分类器可能加有。
隐私保护评估
为评估隐私保护能力,分别对原始表征、类别原型与纠缠表征进行表征逆向攻击重建原始样本。
Figure 4 展示 TinyImageNet 结果:原始表征可较清晰恢复轮廓,存在较攻击风险;类别原型可定程度上恢复类别信息(如鱼类轮廓)。
而纠缠表征重建结果几乎不可辨识,表明其通过多类别信息融显著降低了样本可恢复。
通讯开销评估
Table 2 可以看到,FedRE 在上传阶段的通信开销低,因为每个客户端只需上传个纠缠表征及其对应的标签编码。
在广播阶段,其通信开销与基于分类器的法(如 LG-FedAvg)和基于原型的法(如 FedProto)大致相当。
总结与展望
在数据要素流通与隐私规要求日益严格的背景下,如何兼顾数据价值挖掘与敏感信息护,已成为行业面临的核心挑战。
为此,本文提出 FedRE 法以解决模型异构的联邦学习问题,在能、隐私保护与通信开销之间实现了较为均衡的权衡,为数据要素安全流通提供了种可行路径。
键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
我们正在招聘名眼疾手快、关注 AI 的学术编辑实习生 � �
感兴趣的小伙伴欢迎关注 � � 了解详情
� � 点亮星标 � �
科技前沿进展每日见
相关词条:罐体保温 塑料挤出设备 钢绞线 超细玻璃棉板 万能胶1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定武威pvc管道管件胶,并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方,并积极配合修改。
3.凡用户访问本网页,均表示默认详情页的描述,不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》,以此来变相勒索商家索要赔偿的违法恶意行为。