2021105169247基于浅层卷积神经网络的人脸表情识别系统.pdf

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113343773B
(45)授权公告日2022.11.08
(21)申请号202110516924.7G06N3/08(2006.01)
(22)申请日2021.05.12(56)对比文件
(65)同一申请的已公布的文献号CN110188708A,2019.08.30
申请公布号CN113343773ACN112101241A,2020.12.18
CN111428606A,2020.07.17
(43)申请公布日2021.09.03CN112396012A,2021.02.23
(73)专利权人上海大学审查员徐葛森
地址200444上海市宝山区上大路99号

(72)发明人张在房张文杰程辉
(74)专利代理机构上海上大专利事务所(普通
合伙)31205
专利代理师何文欣
(51)Int.Cl.
G06V40/16(2022.01)
G06V10/82(2022.01)
G06N3/04(2006.01)权利要求书2页说明书5页附图1页
(54)发明名称
基于浅层卷积神经网络的人脸表情识别系
统
(57)摘要
本发明公开了一种基于浅层卷积神经网络
的人脸表情识别系统，属于人工智能与模式识别
领域。本系统包括硬件和软件两个部分。硬件部
分由智能末端设备、网络传输设备和图像采集设
备组成，为系统的运行提供支撑，为数据的互联
互通提供条件。软件部分包括Python、OpenCV和
UI三个模块，分别负责模型训练、图像检测与可
视化设计等功能。本发明受Xception网络的启
发，结合了残差模块和深度可分离卷积，同时引
入了Squeeze‑andExcitation模块与网络进行
融合。微调后的网络结构简单，模型较小，同时兼
顾了运行速度和模型精度。表情识别系统调用该
模型对捕获的图像进行分类识别，然后将所用时
间、预测结果与表情强度等信息反馈至系统界
面，完成一次人脸表情识别。
CN113343773B
CN113343773B权利要求书1/2页

1.一种基于浅层卷积神经网络的人脸表情识别系统，包括硬件和软件两个部分，其特
征在于：所述硬件部分由智能末端设备、网络传输设备和图像采集设备组成，为系统的运行
提供支撑，为数据的互联互通提供条件；所述软件部分包括Python、OpenCV和UI三个模块，
分别负责模型训练、图像检测与可视化设计功能；从而实现对人脸图像的数据采集和存储,
为智能识别提供原始数据来源；对人脸检测模块采集的原始数据进行特征提取与分类计
算，所获得的结果反馈至可视化系统界面，从而实现对人脸表情的实时识别；Python、
OpenCV和UI三个软件分别用以实现不同的功能，其中：
OpenCV对图像采集设备的摄像头所采集的视频进行逐帧分析并得到待测图像，然后再
将该图像输入其中人脸检测模块，负责整个系统的数据采集和存储任务；
Python语言是系统的开发语言，采用Keras框架搭建网络模型，并在FER20213数据集上
训练参数；训练好的模型对待测图像进行识别，然后将结果输入可视化模块；
UI界面是表情识别系统的可视化模块，左侧为控制界面，右侧为结果界面，显示识别时
间、识别结果和表情强度三个内容，便于对人脸表情进行全面准确地描述；
基于浅层卷积神经网络的人脸表情识别系统采用浅层卷积神经网络模型，由4个深度
可分离残差卷积模块组成；该深度可分离残差卷积模块又由深度可分离模块与残差网络模
块组合形成，包含两个可分离卷积层和一个普通卷积层；
第一个可分离卷积层设置了16个3×3卷积核，没有池化操作；
第二个可分离卷积层中依然设置16个3×3卷积核，同时最大池化层的卷积核大小为3
×3，步长为2；卷积核的的数量从16逐级递增至128；
此外，在第二个和第四个可分离残差卷积模块分别插入ratio为8和16的Squeeze‑and‑
Excitation模块；在网络的前两个普通卷积层中，均设置8个3×3卷积核，步长为1；图像大
小被调整为48×48×1后输入网络中，前两个普通卷积层能提取图像的低层次边缘特征并
保留细节，之后的可分离残差卷积则提取更抽象的深层特征；经过4次深度可分离残差卷积
模块后，网络依次经过一个普通卷积层，ratio为7的Squeeze‑and‑Excitation模块，以及一
个平均池化层；最后经过softmax层输出分类结果。
2.根据权利要求1所述基于浅层卷积神经网络的人脸表情识别系统，其特征在于：所
述智能末端设备在验证阶段采用的操作系统为Windows1064位，处理器为Intel(R)Core
(TM)i5‑8250UCPU@1.6GHz1.8GHz，内存为8G；所述图像采集设备为笔记本自带摄像
头。
3.根据权利要求1所述