保护隐私的模型联合训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111340242A(43)申请公布日2020.06.26(21)申请号202010409990.X(22)申请日2020.05.15(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人李龙飞周俊(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人张明周良玉(51)Int.Cl.G06N20/00(2019.01)G06F21/62(2013.01)权利要求书6页说明书15页附图4页(54)发明名称保护隐私的模型联合训练方法及装置(57)摘要本说明书实施例提供一种保护隐私的模型联合训练方及装置，在联合训练方法中，服务端发布模型训练任务。接收若干终端设备发送的参与请求。根据参与请求，查询贡献值列表，以获取若干终端设备各自的累计贡献值。基于查询得到的累计贡献值，从若干终端设备中选取各目标终端设备，并将初始模型拆分为对应于各目标终端设备的多个子模型。向各目标终端设备发送联合训练请求。该联合训练请求用于指示各目标终端设备，基于各自维护的、符合上述描述信息中至少部分描述信息的私有样本，在本地训练对应子模型。接收各目标终端设备发送的训练结果。根据各目标终端设备的训练结果，更新贡献值列表以及更新初始模型，得到联合训练后的目标模型。CN111340242ACN111340242A权利要求书1/6页1.一种保护隐私的模型联合训练方法，应用于服务端；所述方法包括：发布模型训练任务；所述模型训练任务至少指示待联合训练的初始模型，以及用于训练所述初始模型的训练样本的描述信息；接收若干终端设备发送的参与请求；根据所述参与请求，查询贡献值列表，以获取所述若干终端设备各自的累计贡献值；其中所述贡献值列表用于记录在历次模型联合训练中参与训练的终端设备各自的累计贡献值；基于所述累计贡献值，从所述若干终端设备中选取各目标终端设备，并将所述初始模型拆分为对应于所述各目标终端设备的多个子模型；向所述各目标终端设备发送联合训练请求；所述联合训练请求用于指示所述各目标终端设备，基于各自维护的、符合所述描述信息中至少部分描述信息的私有样本，在本地训练对应子模型；接收所述各目标终端设备发送的训练结果；根据所述各目标终端设备的训练结果，更新所述贡献值列表，以及根据所述各目标终端设备的训练结果，更新所述初始模型，得到联合训练后的目标模型。2.根据权利要求1所述的方法，所述根据所述各目标终端设备的训练结果，更新所述贡献值列表，包括：确定所述各目标终端设备的训练结果的质量分数，以及确定所述各目标终端设备的耗时分数；基于所述各目标终端设备的耗时分数以及训练结果的质量分数，确定所述各目标终端设备的本次贡献值；基于所述各目标终端设备的本次贡献值，更新所述贡献值列表中所述各目标终端设备的累计贡献值。3.根据权利要求2所述的方法，所述各目标终端设备包括第一终端设备；所述确定所述各目标终端设备的训练结果的质量分数，包括：基于所述第一终端设备的训练结果，假定更新所述初始模型，并基于假定更新后的所述初始模型以及所述服务端维护的训练样本，确定对应于所述第一终端设备的第一损失；基于基准损失与所述第一损失的差值，确定所述第一终端设备的训练结果的质量分数，其中，所述基准损失基于所述初始模型以及所述服务端维护的训练样本确定。4.根据权利要求2所述的方法，所述各目标终端设备包括第一终端设备；所述确定所述各目标终端设备的训练结果的质量分数，包括：基于所述第一终端设备的训练结果，假定更新所述初始模型，并基于假定更新后的所述初始模型以及所述服务端维护的测试样本，确定对应于所述第一终端设备的第一性能指标；基于基准性能指标与所述第一性能指标的差值，确定所述第一终端设备的训练结果的质量分数，其中，所述基准性能指标基于所述初始模型以及所述服务端维护的测试样本确定。5.根据权利要求2所述的方法，所述各目标终端设备包括第一终端设备；所述确定所述各目标终端设备的耗时分数，包括：2CN111340242A权利要求书2/6页根据所述联合训练请求的发送时间与所述第一终端设备的训练结果的接收时间的差值，确定在本次模型联合训练中所述第一终端设备的耗时时间；根据所述耗时时间，确定所述第一终端设备的耗时分数；其中，所述耗时分数反相关于所述耗时时间。6.根据权利要求2所述的方法，所述基于所述各目标终端设备的耗时分数以及训练结果的质量分数，确定所述各目标终端设备的本次贡献值，包括：对于所述各目标终端设备中的每个终端设备，对该终端设备的耗时分数以及训练结果的质量分数进行求和或者加权求和，得到该终端设备的本次贡献值。7.根据权利要求2所述的方法，所述基于所述各目标终端设备的本次贡