发明授权-2017108454491-一种基于双通道3D-2D RBM模型的视频行为识别方法.pdf

(19)中华人民共和国国家知识产权局

(12)发明专利

(10)授权公告号CN107967441B
(45)授权公告日2021.03.30
(21)申请号201710845449.1G06N3/08(2006.01)
(22)申请日2017.09.19G06T5/20(2006.01)
(65)同一申请的已公布的文献号(56)对比文件
申请公布号CN107967441ACN106991372A,2017.07.28
于成龙.“基于视频的人体行为识别关键技
(43)申请公布日2018.04.27术研究”.《中国博士学位论文全文数据库信息
(73)专利权人北京工业大学科技辑》.2016,(第03期),
地址100124北京市朝阳区平乐园100号FISCHEＲA，IGELC．.“Anintroduction
(72)发明人李敬华淮华瑞王立春孔德慧torestricted”.《LectureNotesin
闫会霞尹宝才Computer》.2012,
(74)专利代理机构北京思海天达知识产权代理审查员姚希
有限公司11203
代理人张慧
(51)Int.Cl.
G06K9/00(2006.01)
G06N3/04(2006.01)权利要求书3页说明书11页附图2页
(54)发明名称
一种基于双通道3D-2DRBM模型的视频行为
识别方法
(57)摘要
本发明公开一种基于双通道3D‑2DRBM模型
的视频行为识别方法，提出了3D张量到2D矩阵变
量的受限玻尔兹曼机，即输入为3阶张量变量，输
出为2阶矩阵变量的RBM，称其为3D‑2DRBM；该模
型解决了前两个模型在处理3D视频数据上的劣
势，也更好地保存了3D视频数据的时空信息，可
以得到了较好的动态手势识别率。
CN107967441B
CN107967441B权利要求书1/3页

1.一种基于双通道3D‑2DRBM模型的视频行为识别方法，其特征在于，包括以下步骤：
步骤一、训练阶段：
(1.1)针对输入的多组动态手势视频数据，分别进行计算光流特征提取处理和Canny算
子去边缘处理；
(1.2)对于光流和Canny处理后得到的全部视频中的每一帧手动提取矩阵形式MxS大小
的2DHOG特征，得到FLOW‑HOG和Canny‑HOG双通道特征，定义训练数据中每个手势动作视频
用T帧描述，T帧的每个通道特征表示为TxMxS的3阶张量形式；
(1.3)将大小为TxMxS的FLOW‑HOG特征和Canny‑HOG特征分别输入到3D‑2DRBM模型中
进行训练，通过不断的调整参数各自训练出最优的3D‑2DRBM模型；
(1.4)以3D‑2DRBM初始化NN模型，NN的输入和隐层节点数对应3D‑2DRBM的输入和输
出的向量化的维度；3D‑2DRBM模型的三个矩阵形式的权重参数的克罗内克积作为NN网络
的输入到隐层权重参数的初始值，通过反向传播算法不断调节NN的网络参数；
步骤二、测试阶段：
(2.1)与训练阶段(1.1)(1.2)一样，首先对测试数据进行同样的光流和Canny算子的处
理；
(2.2)对于每个T帧的光流视频序列和Canny算子视频序列，分别提取每一帧为M*S大小
的HOG特征；
(2.3)依次串联每个视频序列中的所有帧的特征，得到维度为T*M*S大小的向量，每个
视频数据都用T*M*S大小的向量特征表示；
(2.4)输入上述特征向量到训练好的NN模型以进行分类。
2.如权利要求1所述的基于双通道3D‑2DRBM模型的视频行为识别方法，其特征在于，
3D‑2DRBM定义如下：
首先，定义为二进制可见层3阶张量变量，对应视频中行为动作的时

L×M
空3D表示；Y＝[ylm]∈R为二进制隐含层2阶张量变量，对应进一步提取出的行为动作的
高层语义特征；为五阶张量参数，是可见层与隐含层之间的连接权

L×M
重；和C＝[clm]∈R分别是可见层和隐含层的偏置张量，首先定义如下的
能量函数：

其中，为模型参数；假定隐含层单元和可见层单元的连接权值有如下关系：
L×IM×J1
sijklm＝ulivmjw1k；通过定义所述的三个矩阵U＝[uli]∈R，V＝[vmj]∈R和w＝[w1k]∈R
×K，可以把公式(1)的能量函数改写成

即：

2
CN107967441B权利要求书2/3页

U、V和w共同定义了输入张量和隐含矩阵Y的连接权，基于上述公式，和Y的联合分
布概率为：

其中，Θ表示所有的模型参数U，V，w，和C；归一化常量Z(Θ)定义为：

假设给定一组动态行为训练数据根据公式(4)它的极大似然函数为：

对于任意参数Θ，都可以求得似然函数导数，

表示在可见单元限定为已知的训练样本时，隐层的概率分布，
表示可见单元与隐单元的联合分布；
根据CD‑K算法的思