2021107644298一种基于时-频双分支特征的猕猴情绪识别方法及系统.pdf

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113643724B
(45)授权公告日2023.04.28
(21)申请号202110764429.8G10L25/03(2013.01)
(22)申请日2021.07.06G10L25/18(2013.01)
G10L25/30(2013.01)
(65)同一申请的已公布的文献号
申请公布号CN113643724A审查员吴琼

(43)申请公布日2021.11.12
(73)专利权人中国科学院声学研究所南海研究
站
地址570105海南省海口市龙华区滨海大
道63号
(72)发明人李松斌唐计刚刘鹏张遥
(74)专利代理机构北京方安思达知识产权代理
有限公司11472
专利代理师杨青李彪
(51)Int.Cl.
G10L25/63(2013.01)权利要求书3页说明书11页附图2页
(54)发明名称
一种基于时-频双分支特征的猕猴情绪识别
方法及系统
(57)摘要
本发明公开了一种基于时‑频双分支特征的
猕猴情绪识别方法及系统，该方法包括：将采集
的猕猴叫声输入预先建立和训练好的猕猴情绪
识别模型，得到对应的精确情绪类别；精确情绪
类别包括“友好”情绪、“进攻或威胁”情绪、“失落
或顺从”情绪和无情绪；猕猴情绪识别模型，用于
提取猕猴叫声的中间特征，基于时‑频双分支对
时域特征和频域特征进行分离提取，经融合分类
确定对应的精确情绪类别。本发明通过使用原始
叫声数据作为网络输入，从叫声中提取情绪相关
中间特征，无需语音预处理，简化了算法流程，之
后对时域和频域特征进行分离提取，从不同角度
获取叫声的压缩特征，对时域和频域特征进行融
合，增强了特征的表达力，有效地提升了识别准
确率。
CN113643724B
CN113643724B权利要求书1/3页

1.一种基于时‑频双分支特征的猕猴情绪识别方法，所述方法包括：
将采集的猕猴叫声输入预先建立和训练好的猕猴情绪识别模型，得到对应的精确情绪
类别；所述精确情绪类别包括“友好”情绪、“进攻或威胁”情绪、“失落或顺从”情绪和无情
绪；
所述猕猴情绪识别模型，用于提取猕猴叫声的中间特征，基于时‑频双分支对时域特征
和频域特征进行分离提取，经融合分类确定对应的精确情绪类别；
所述猕猴情绪识别模型包括中间特征提取模块、频域特征提取模块、时域特征提取模
块和特征融合与分类模块；其中，
所述中间特征提取模块，用于对输入的猕猴叫声数据进行多层次递进的特征提取和压

缩，得到猕猴叫声的中间层二维特征表示FM；

所述频域特征提取模块，用于将中间层二维特征表示FM变换为频域特征表示FM′，然后

进行频域特征捕获处理，得到FM的低维频域压缩特征表示eff；

所述时域特征提取模块，用于对中间层二维特征表示FM进行时域特征捕获处理，得到FM

的低维时域压缩特征表示eft；

所述特征融合与分类模块，用于根据低维频域压缩特征表示eff与低维时域压缩特征表

示eft，获取融合特征的分类编码输出，得到猕猴叫声数据对应的预测情绪类别。
2.根据权利要求1所述的基于时‑频双分支特征的猕猴情绪识别方法，其特征在于，所
述中间特征提取模块包括一个头层和4个堆叠的结构相同的加权残差卷积块；其中，
所述头层包括一个卷积核大小为1*255，步长为1，通道数为128的一维卷积层；
所述加权残差卷积块包括两个结构相同的一维卷积层、一个一维批归一化层、一个最
大值池化层和一个通道注意力机制层，并且每个加权残差卷积块的输入跳跃连接至加权残
差卷积块第二个卷积层的输出；其中，每个一维卷积层卷积核大小为1*3，步长为1，通道数
为128；通道注意力机制层包括一个自适应池化层、一个全连接层和权重计算函数。
3.根据权利要求2所述的基于时‑频双分支特征的猕猴情绪识别方法，其特征在于，所
述中间特征提取模块的具体处理过程包括：
头层的一维卷积层对输入叫声数据i进行维度转换，得到输入特征o1，满足下式：
o1＝i·w1+b1
其中，w1为一维卷积层的权重参数，b1为一维卷积层的偏置；
将输入特征o1分别输入4个堆叠的加权残差卷积块，通过自适应池化将二维特征映射至
通道维度的一维向量表示，然后通过一层全连接及sigmoid函数σ得到每个通道的权重表
示，将通道的权重表示与输入通道注意力计算函数的二维特征x相乘，得到各残差卷积块通
道加权后的特征表示，作为下一个残差卷积块的输入；经过4层加权残差卷积块后得到猕猴

叫声的中间层二维特征表示FM；
其中，第i个加权残差块输出为ori，i≤4，满足下式：
ori＝SE(MaxP(o1+(BN(o1·wri0+bri0)·wri1+bri1))
其中，wri0，bri0分别表示第i个残差块中第一个卷积的卷积核及偏置参数，wri