基于分离重聚范式和计算机视觉的孤独症初级筛查装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109381200A(43)申请公布日2019.02.26(21)申请号201811217575.3(22)申请日2018.10.18(71)申请人昆山杜克大学地址215300江苏省苏州市昆山市杜克大道8号申请人中山大学附属第三医院（中山大学肝脏病医院）(72)发明人李明邹小兵(74)专利代理机构佛山帮专知识产权代理事务所(普通合伙)44387代理人颜德昊(51)Int.Cl.A61B5/16(2006.01)A61B5/00(2006.01)权利要求书2页说明书5页附图1页(54)发明名称基于分离重聚范式和计算机视觉的孤独症初级筛查装置(57)摘要本发明公开了一种孤独症初级筛查装置，包括：数据采集模块，用于记录实验过程中视频，声音等多模态数据；行人检测模块，用于通过深度学习自动提取视频每一帧里人的位置；行人识别模块，用于通过深度学习自动提取视频中参与者的身份；特征提取模块，自动跟踪参与实验的人员在实验室中的行动轨迹，并提取出与实验人员具有代表性的特征并标记；训练分类模块，用于利用已标记的特征训练分类器，得到预测范式评分的分类器模型与预测ASD的分类器模型；预测模块，用于采用由训练分类模块获取的预测ASD的分类器模型对测试者进行测试，对测试者的孤独症进行评估预测。本发明能被视作一个ASD早期筛查的辅助装置，使得早期的ASD筛查预测更加准确与方便。CN109381200ACN109381200A权利要求书1/2页1.一种基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，包括：数据采集模块，用于记录实验过程中实验人员的视频、声音的多模态数据，并进行同步数据采集；其中，参与的实验人员包括患有ASD个体与正常个体、儿童家长以及工作人员；行人检测模块，用于从视频信息中提取人物身份特征，通过深度学习按照一定帧率提取出图像，接着对每一帧的图像进行行人检测，检测出出现的行人，并把行人利用矩形框框出来，最后自动提取视频每一帧里人的位置；行人识别模块，用于通过深度学习自动提取视频中参与者的身份；特征提取模块，用于自动跟踪参与实验的人员在实验室中的行动轨迹，并分析行动轨迹之间的关系，提取出与实验人员在具有代表性的特征并标记；训练分类模块，用于利用已标记的特征训练分类器，得到预测行为范式的分数的分类器模型与预测ASD的分类器模型；预测模块，用于采用由训练分类模块获取的预测ASD的分类器模型对测试者进行测试，对测试者的孤独症进行评估预测。2.根据权利要求1所述的基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，数据采集模块通过计算机视觉识别并跟踪儿童及其监护人的行动轨迹，并且分析儿童与监护人运动轨迹之间的相互关系，得到儿童在监护人离开实验室之后的反应特征；并同步记录实验过程中医生、家长、儿童的互动行为。3.根据权利要求2所述的基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，所述视频采集模块包括多角度摄像头以及多通道视频采集卡。4.根据权利要求3所述的基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，所述多角度摄像头实现了水平范围360度，垂直范围2米范围内全覆盖的行为数据采集；利用摄像头从多角度采集参与者的行为数据，并且调整摄像头俯角，实现不同高度全覆盖。5.根据权利要求1所述的基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，所述行人识别模块对行人检测模块框出的行人进行识别，区分出该行人是儿童，医生还是家长，其通过以下两步实现的：首先利用行人重识别公开数据集，进行网络训练，得到行人重识别特征提取网络，再利用此网络对本专利中前一步得到的行人检测得到的图片进行行人身份特征提取。6.根据权利要求1所述的基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，所述特征提取模块还根据参与实验的人员及其监护人在实验室中的行动轨迹，并分析家长离开实验房间之后，儿童的行动轨迹，提取在家长离开后儿童离开座位及离开房间的时间延迟、移动方向、速度、轨迹以及是否有重聚反应的特征。7.根据权利要求1所述的基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，还包括标记单元，所述标记单元得到儿童在家长离开后的重聚反应特征后，根据这个特征对应的个体的打分，标记此特征为0，1，2三种类别。其中2分指有行动上跟随反应；1分指有目光跟随但是没有行动上跟随；0分指没有跟随反应。8.根据权利要求7所述的基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，所述预测模块采用由训练分类模块获取的预测ASD的模型对测试者进行测试，对测试者的孤独症进行评估预测；测试得到一个分数，分数即为儿童在分离重聚实验中的表2CN109381200A权