202010271411X基于人工智能的厨房卫生安全监督管理方法.pdf

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN111401310B
(45)授权公告日2023.08.29
(21)申请号202010271411.XG06V10/764(2022.01)
(22)申请日2020.04.08G06V10/82(2022.01)
G06N3/02(2006.01)
(65)同一申请的已公布的文献号
申请公布号CN111401310A(56)对比文件
CN110909703A,2020.03.24
(43)申请公布日2020.07.10CN107977671A,2018.05.01
(73)专利权人天津中科智能识别产业技术研究CN109033953A,2018.12.18
院有限公司CN110728223A,2020.01.24
地址300457天津市滨海新区天津经济技CN108319934A,2018.07.24
术开发区第二大街57号泰达MSD-G1-CN110532355A,2019.12.03
1001单元CN110046557A,2019.07.23
(72)发明人孙哲南茹一伟胡远族CN108875906A,2018.11.23
CN106372662A,2017.02.01
(74)专利代理机构天津市三利专利商标代理有CN110059662A,2019.07.26
限公司12107CN110738127A,2020.01.31
专利代理师韩新城CN106897662A,2017.06.27
(51)Int.Cl.审查员郭艳婷
G06V20/52(2022.01)

G06V40/10(2022.01)权利要求书2页说明书7页附图5页
(54)发明名称
基于人工智能的厨房卫生安全监督管理方
法
(57)摘要
本发明公开一种基于人工智能的厨房卫生
安全监督管理方法，包含步骤：基于图像采集设
备采集的厨房内视频序列中的当前帧采用神经
网络定位人头部位置；根据人头部位置获得人头
部区域图像，通过神经网络进行特征提取得到人
头部特征图，对特征图进行分类从而判断该人是
否有目标行为，将目标行为以警示的方式显示到
当前帧；通过编码转换将生成的视频流用RTMP推
流的形发送到客户端显示。本发明能够准确检测
图像中的人头部区域，并且可对头部区域进行检
测，判断该人是否有不合要求的目标行为。
CN111401310B
CN111401310B权利要求书1/2页

1.一种基于人工智能的厨房卫生安全监督管理方法，包括步骤：
S1.利用图像采集设备实时采集厨房内目标区域图像；
S2.提取图像采集设备采集到的实时帧图像，利用神经网络定位人头部位置；
S3.基于人头部位置得到头部区域图像，利用神经网络识别该头部区域图像是否有目
标行为，并将识别到的信息显示到当前帧；
S4.将载有识别信息的视频流转码后利用RTMP推流至客户端显示；
步骤S3包含步骤：
S31.根据人头部位置在输入实时帧图像中裁剪到人头部区域的图像；
S32.利用神经网络对人头部区域图像进行多任务分类，判别该人是否有目标行为；
S33.将识别到的信息在当前帧显示，并对目标行为进行高亮显示；
步骤S32中，所述多任务分类采用早停的机制，多任务损失函数的表达式如下：

其中，比率值ri用于衡量taski相对于所有task的优化程度，值越大，表明优化程度相
对于其他task优化程度低，通过对优化程度的衡量来控制梯度反向传播的值的大小，达到

早停的效果；Lgrad是模型最终的梯度方向，Gθ(t)是所有task的平均梯度，θ代表任务的输入，

Etask代表当前时刻t,所有任务的梯度取平均，第i个任务t时刻的梯度为Li(t,θ)，
代表t时刻对任务i的梯度乘以的权重，t时刻第i个任务权重与梯度相乘的结果用
表示；通过修改不同任务的损失权重，达到多任务训练的难度均衡，从而使得模型可以更快
的收敛。
2.如权利要求1所述的基于人工智能的厨房卫生安全监督管理方法，所述图像采集设
备包括RGB图像采集设备、NIR图像采集设备、TOF图像采集设备的一种或几种。
3.如权利要求1所述的基于人工智能的厨房卫生安全监督管理方法，其特征在于，步骤
S2包含步骤：
S21.提取当前时间戳下视频序列的帧图像，并将该图像编码为程序可以处理的图像格
式；
S22.对输入图像进行多尺度变换得到图像金字塔，利用全连接网络对多尺度变换后得
到的每个尺度的图像分别卷积计算，提取特征，得到全局特征图；
S23.将全局特征图进行卷积变换，将变换后的结果输出到两个分支，一个分支用于回
归人头部所在的位置，另一个分支用于分类得到的区域是否为人头部，从而得到输入图像
帧中人头部区域的位置。
4.如权利要求1所述的基于人工智能的厨房卫生安全监督管理方法，其特征在于，步骤
S4