基于客户端权重评价的联邦学习方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114564746A(43)申请公布日2022.05.31(21)申请号202210186854.8(22)申请日2022.02.28(71)申请人浙江大学地址310058浙江省杭州市西湖区余杭塘路866号(72)发明人陈文智魏成坤江鑫楠林东宇王总辉(74)专利代理机构杭州天勤知识产权代理有限公司33224专利代理师曹兆霞(51)Int.Cl.G06F21/62(2013.01)G06N20/00(2019.01)权利要求书2页说明书6页附图2页(54)发明名称基于客户端权重评价的联邦学习方法和系统(57)摘要本发明公开了一种基于客户端权重评价的联邦学习方法，包括以下步骤：参与联邦学习的客户端与中心服务器建立安全通信通道，并进行联邦学习的初始化；客户端利用本地数据对本地模型进行参数优化后，上传当前轮次的本地模型信息至中心服务器，其中，本地模型信息包括本地模型参数和/或模型梯度；中心服务器依据本地模型信息并采用消融假设评估本地模型对联邦学习的贡献率，依据贡献率赋予本地模型的聚合权重，依据聚合权重聚合本地模型信息，以得到当前轮次的全局模型，当前轮次的全局模型下传至客户端以进行下一轮的联邦学习，该方法可以提升联邦学习的聚合效果。CN114564746ACN114564746A权利要求书1/2页1.一种基于客户端权重评价的联邦学习方法，其特征在于，包括以下步骤：参与联邦学习的客户端与中心服务器建立安全通信通道，并进行联邦学习的初始化；客户端利用本地数据对本地模型进行参数优化后，上传当前轮次的本地模型信息至中心服务器，其中，本地模型信息包括本地模型参数或模型梯度；中心服务器依据本地模型信息并采用消融假设评估本地模型对联邦学习的贡献率，依据贡献率赋予本地模型的聚合权重，依据聚合权重聚合本地模型信息，以得到当前轮次的全局模型，当前轮次的全局模型下传至客户端以进行下一轮的联邦学习。2.根据权利要求1所述的基于客户端权重评价的联邦学习方法，其特征在于，所述中心服务器依据本地模型信息并采用消融假设评估本地模型对联邦学习的贡献率，包括：客户端m利用本地数据Dm对作为本地模型的全局模型wg进行参数优化，对应的原始损失函数Lorigin表示为：Lorigin＝L(Dm,wg)(1)假设上一轮联邦学习时，客户端k没有参与联邦学习，则得到的全局模型wg\k，客户端利用本地数据Dm对作为本地模型的全局模型wg\k进行参数优化，对应的损失函数Lab表示为：Lab＝L(Dm,wg\k)(2)则通过对比消融假设下的损失函数Lab和原始损失函数Lorigin之间的差值，得到客户端k对客户端m的本地模型的影响程度Lcom为：Lcom＝Lab‑Lorigin(3)对L＝L(Dm,w)在w＝wg处进行泰勒展开后，得到：将w＝wg\k代入泰勒展开式(4)中，得到：化简后得到：其中，wk表示客户端k的本地模型，n表示客户端数量；分析公式(6)，当Lcom为正，表示客户端k对客户端m的本地模型起正面效果，当Lcom为负，表示客户端k对客户端m的本地模型起负面效果，当Lcom为零，表示客户端k对客户端m的本地模型的影响视为忽略；以客户端k对所有其他客户端本地模型的影响程度均值来确定客户端k的本地模型对联邦学习的贡献率。3.根据权利要求2所述的基于客户端权重评价的联邦学习方法，其特征在于，所述以客户端k对所有其他客户端本地模型的影响程度均值来确定客户端k的本地模型对联邦学习的贡献率，包括：构建影响程度均值与贡献率的第一映射关系，依据第一映射关系确定当前影响程度均值对应的贡献率，其中，第一映射关系包括正相关映射关系，影响程度均值越大，对应的贡献率越大；2CN114564746A权利要求书2/2页优选地，以客户端k对所有其他客户端本地模型的影响程度均值作为客户端k的本地模型对联邦学习的贡献率。4.根据权利要求1或3所述的基于客户端权重评价的联邦学习方法，其特征在于，所述依据贡献率赋予本地模型的聚合权重，包括：构建贡献率与聚合权重的第二映射关系，依据第二映射关系确定当前贡献率对应的聚合权重，其中，第一映射关系包括正相关映射关系，贡献率越大，对应的聚合权重越大；优选地，以贡献率作为本地模型的聚合权重。5.根据权利要求1所述的基于客户端权重评价的联邦学习方法，其特征在于，所述依据聚合权重聚合本地模型信息，包括：采用联邦平均聚合算法，根据聚合权重对客户端的本地模型参数进行加权平均，以得到全局模型。6.根据权利要求2所述的基于客户端权重评价的联邦学习方法，其特征在于，所述方法还包括：依据客户端k对客户端m的本地模型的影响程度确定客户端k与客户端m之间的同质性或异质性，当影响程度的绝对值大于设定阈值时，则认为客户端k与客户端m之间具有