一种模型部署方法、装置、电子设备及存储介质-豆柴文库

您所在位置：网站首页 / 一种模型部署方法、装置、电子设备及存储介质.pdf / 文档详情

免费试读已结束，剩余 10 页请下载文档后查看

10 金币

下载文档

/ 15

下载提示

如果您无法下载资料，请参考说明：

1、部分资料下载需要金币，请确保您的账户上有足够的金币

2、已购买过的文档，再次下载不重复扣费

3、资料包下载后请先用软件解压，在使用对应软件打开

文本预览

本发明提供一种模型部署方法、装置、电子设备及储存介质,其特征在于,所述方法包括:对训练后的初始模型进行量化,得到量化模型;获取量化模型的各模块的onnx模型及量化校准文件;修正各模块的onnx模型及量化校准文件;合并各模块的onnx模型及量化校准文件,得到第一onnx模型和量化校准文件集;将量化校准文件集转码为可读取文件;基于第一onnx模型和可读取文件,由平台生成模型;对平台生成的模型进行部署。本发明中获取量化后模型的onnx模型,提高tensorRT对算子的融合,提高运行效率,并转化为特定平台的模型,使模型和平台的兼容性更好,其中各个模块相互独立,可快速完成模型的部署,为工程项目节省时间。