发明公布-202211659819X-神经网络模型的编译方法、装置、电子设备和存储介质.pdf

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN115829006A
(43)申请公布日2023.03.21
(21)申请号202211659819.X
(22)申请日2022.12.20
(71)申请人北京地平线信息技术有限公司
地址100094北京市海淀区丰豪东路9号院
2号楼3层1单元301
(72)发明人邹亮
(74)专利代理机构北京思源智汇知识产权代理
有限公司11657
专利代理师李洪娟
(51)Int.Cl.
G06N3/0464(2023.01)
G06N3/063(2023.01)
G06N3/08(2023.01)

权利要求书3页说明书14页附图10页
(54)发明名称
神经网络模型的编译方法、装置、电子设备
和存储介质
(57)摘要
本公开实施例公开了一种神经网络模型的
编译方法、装置、电子设备和存储介质，其中，方
法包括：获取待编译神经网络模型；基于待编译
神经网络模型，确定待编译神经网络模型对应的
初始计算图，初始计算图包括至少一个第一计算
子图；确定各第一计算子图中包括预设算子节点
的第二计算子图，根据第二计算子图的输入张量
将第二计算子图切分为第一数量的目标计算子
图；根据预设依赖规则，建立第一数量的目标计
算子图之间的依赖关系，获得第二计算子图对应
的第一依赖图；基于各第二计算子图分别对应的
第一依赖图，生成待编译神经网络模型对应的目
标指令序列。本公开实施例可以避免指令调度陷
入假并行度过高导致的贪心陷阱，有效提高指令
调度效率。
CN115829006A
CN115829006A权利要求书1/3页

1.一种神经网络模型的编译方法，包括：
获取待编译神经网络模型；
基于所述待编译神经网络模型，确定所述待编译神经网络模型对应的初始计算图，所
述初始计算图包括至少一个第一计算子图，每个所述第一计算子图包括至少一个算子节点
及各所述算子节点之间的连接关系；
确定各所述第一计算子图中包括预设算子节点的第二计算子图，根据所述第二计算子
图的输入张量将所述第二计算子图切分为第一数量的目标计算子图；
根据预设依赖规则，建立所述第一数量的所述目标计算子图之间的依赖关系，获得所
述第二计算子图对应的第一依赖图，所述依赖关系用于表征各所述目标计算子图之间的计
算顺序；
基于各所述第二计算子图分别对应的所述第一依赖图，生成所述待编译神经网络模型
对应的目标指令序列。
2.根据权利要求1所述的方法，其中，所述根据预设依赖规则，建立所述第一数量的所
述目标计算子图之间的依赖关系，获得所述第二计算子图对应的第一依赖图，包括：
基于预设规则，确定各所述目标计算子图分别对应的计算优先等级；
根据各所述目标计算子图的所述计算优先等级，建立任意相邻的两个所述目标计算子
图中对应相同的算子节点之间的第一依赖边，所述第一依赖边从该两个所述目标计算子图
中计算优先等级较高的第一目标计算子图中的算子节点指向计算优先等级较低的第二目
标计算子图中的算子节点；
针对任一所述目标计算子图，根据所述目标计算子图中各算子节点之间的预设计算逻
辑，建立所述目标计算子图中各算子节点之间的第二依赖边；
基于各所述目标计算子图、任意相邻的两个所述目标计算子图中对应相同的算子节点
之间的所述第一依赖边、及各所述目标计算子图中各算子节点之间的所述第二依赖边，确
定所述第一依赖图。
3.根据权利要求2所述的方法，其中，所述基于各所述目标计算子图、任意相邻的两个
所述目标计算子图中对应相同的算子节点之间的所述第一依赖边、及各所述目标计算子图
中各算子节点之间的所述第二依赖边，确定所述第一依赖图，包括：
根据预设权重规则，确定各所述目标计算子图之间的各所述第一依赖边分别对应的第
一权重、以及各所述目标计算子图的内部各所述第二依赖边分别对应的第二权重；
基于各所述第一依赖边分别对应的所述第一权重、及各所述第二依赖边分别对应的所
述第二权重，确定各所述算子节点的节点权重，所述节点权重用于表征其对应的算子节点
的计算优先等级；
基于各所述目标计算子图、各所述第一依赖边、各所述第一依赖边分别对应的所述第
一权重、各所述第二依赖边、各所述第二依赖边分别对应的所述第二权重、及各所述节点权
重，确定所述第一依赖图。
4.根据权利要求3所述的方法，其中，所述基于各所述第二计算子图分别对应的所述第
一依赖图，生成所述待编译神经网络模型对应的目标指令序列，包括：
针对每个所述第二计算子图，基于该第二计算子图对应的所述第一依赖图，确定所述
第二计算子图对应的调度滑动窗口，所述调度滑动窗口用于容纳第二数量的所述目标计算

2
CN115829006A权利要求书2/3页
子图；
基于该第二计算子图对应的所述第一依赖图和所述调度滑动窗口，生成该第二计算子