一种冰箱的智能化图像数据采集处理方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113837144A(43)申请公布日2021.12.24(21)申请号202111241054.3G06N3/08(2006.01)(22)申请日2021.10.25H04W12/06(2021.01)H04W24/08(2009.01)(71)申请人广州微林软件有限公司H04W48/16(2009.01)地址510000广东省广州市高新技术产业开发区科研路12号205(72)发明人张元本卢伟昌廖丽曼(74)专利代理机构广州海石专利代理事务所(普通合伙)44606代理人邵穗娟(51)Int.Cl.G06K9/00(2006.01)G06K9/32(2006.01)G06K9/62(2006.01)G06F8/65(2018.01)G06N3/04(2006.01)权利要求书3页说明书15页附图14页(54)发明名称一种冰箱的智能化图像数据采集处理方法(57)摘要本发明公开了一种冰箱的智能化图像数据采集处理方法，包括：图像数据的获取，以预设的触发条件控制摄像设备采集图像数据并进行发送；物体的识别，用增强的YOLOv4‑tiny模型对图像进行检测，提取检测到的目标物体，进行类别归类，基于图像数据，构成关系分层图和匹配权值矩阵，经过物体识别网络和匹配权值矩阵去确认物体的类别和物体；动作的识别，基于图像数据，构建无交集且随着时间覆盖而消亡的时空图，基于时空图进行动作轨迹的追踪；虚拟服务器的调度，基于图像数据的获取状态、物体的识别状态，以及动作的识别状态，调度虚拟服务器拉取并处理图像数据；该智能冰箱控制系统能够应用于外置摄像设备，实现其内部的智能化控制，使其具备智能化图像数据采集和处理功能。CN113837144ACN113837144A权利要求书1/3页1.一种冰箱的智能化图像数据采集处理方法，其特征在于，包括：图像数据的获取，以预设的触发条件控制摄像设备采集图像数据并进行发送；物体的识别，用增强的YOLOv4‑tiny模型对图像进行检测，提取检测到的目标物体，进行类别归类，基于图像数据，构建匹配权值矩阵，提取物体特征结合匹配权值矩阵去确认物体的类别和物体；动作的识别，基于图像数据，构建无交集且随着时间覆盖而消亡的时空图，基于时空图进行动作轨迹的追踪；虚拟服务器的调度，基于图像数据的获取状态、物体的识别状态，以及动作的识别状态，调度虚拟服务器拉取并处理图像数据。2.如权利要求1所述的一种冰箱的智能化图像数据采集处理方法，其特征在于：在进行图像数据的获取时，控制摄像设备进行联网操作，并以预设的时间周期进行心跳检测操作和空间容量检测操作，其中，联网操作的方法为：在摄像设备开机时，进行初始化判定，判断该摄像设备是否为新出厂机器，若是新出厂则将tf卡内设置读取并初始化摄像设备，将初始化数据包括UID、软件版本与设置存入flash内；联网判定的方法为：尝试通过wifi列表文件的AP名与对应密码联网，若能联网则判断此摄像设备的状态，若是AP模式则开启wifi热点，若是蓝牙模式则转到开启蓝牙，若是wifidirect模式则开启wifi直连，不能联网则判断wifi密码与AP名的获取方式，并发出联网失败的语音提示；心跳检测操作的方法为：每隔一段预设时间，开启线程发送包到服务器，当服务器返回接收成功的信息，则返回主程序操作，结束线程，若在一定时间内未收到信息则判断联网状态，有信息错误返回则是服务器问题，返回主程序操作，结束线程，若完全无信息返回则判定为无法联网，则进入联网操作，并结束线程；空间容量检测操作的方法为：每隔一段预设时间，读取tf卡剩余空间大小，若剩余空间大于预设值则不做任何动作，若剩余空间小于预设值则按时间节点删除最早的视频，直到剩余空间大于预设值，结束线程。3.如权利要求2所述的一种冰箱的智能化图像数据采集处理方法，其特征在于：摄像设备采集图像数据的方法为：在收到PIR、摄像设备动作捕捉、麦克风声音捕捉的报警事件后，开启事件记录线程，将该事件类型记录到事件列表文件内并创建该事件的录像文件，让摄像设备开始录像并保存到tf卡内；事件开始和结束都会发送事件报警给服务器，并返回发送回应信息，并判断是否成功，若不成功则储存在未发送事件列表中，等待一段时间后再发送，若发送成功并事件结束，则跳到主程序操作，结束线程。4.如权利要求1所述的一种冰箱的智能化图像数据采集处理方法，其特征在于，YOLOv4‑tiny模型的训练方法为：采集相关数据集，对采集的数据集使用图像标注工具对目标物体数据集的图像进行标定，并对采集的数据集进行数据增强，选择YOLOv4训练策略对YOLOv4‑tiny模型进行训练；其中，相关数据集的采集方法为：通过多个相同或不同的视频源，在不同场景，不同时间下采集