一种图像处理方法、远程被控设备及虚拟现实系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105828072A(43)申请公布日2016.08.03(21)申请号201610177392.8(22)申请日2016.03.25(71)申请人乐视控股（北京）有限公司地址100025北京市朝阳区姚家园路105号3号楼10层1102申请人乐视致新电子科技（天津）有限公司(72)发明人肖荣权(74)专利代理机构北京三聚阳光知识产权代理有限公司11250代理人马永芬(51)Int.Cl.H04N19/146(2014.01)H04N19/164(2014.01)H04N19/85(2014.01)H04L29/06(2006.01)权利要求书2页说明书7页附图2页(54)发明名称一种图像处理方法、远程被控设备及虚拟现实系统(57)摘要本发明提供一种图像处理方法、远程被控设备以及虚拟现实系统，首先，获取接收端反馈的接收数据的速率；根据所述速率和网络回环延迟获得最大接收数据传输率；获取当前发送数据传输率；判断所述当前发送数据传输率与所述最大接收数据传输率的差值是否超出预设阈值，若是则调整编码器编码比特率和输入图像的编码帧率，对目标图像进行编码，使得编码后的最大动态数据率不大于所述最大接收数据传输率。通过动态编码保证了数据传输的时效性。本发明还提供使用该方法的远程被控终端以及虚拟现实系统，从而完成虚拟现实功能，该方案中保证了数据传输的时效性，实现了基于远程控制的虚拟现实技术。CN105828072ACN105828072A权利要求书1/2页1.一种图像处理方法，其特征在于，包括如下步骤：获取接收端反馈的接收数据的速率；根据所述速率和网络回环延迟获得最大接收数据传输率；获取当前发送数据传输率；判断所述当前发送数据传输率与所述最大接收数据传输率的差值是否超出预设阈值，若是则调整编码器编码比特率和输入图像的编码帧率，对目标图像进行编码，使得编码后的最大动态数据率不大于所述最大接收数据传输率。2.根据权利要求1所述的方法，其特征在于，所述编码后的最大动态数据率的计算公式如下：SVmax＝f(编码帧率CVmax)*f(编码比特率EVmax)*f(网络回环延迟DVmax)其中，DVmax是自动探测到的，SVmax为已经获得的最大接收数据传输率,需要调节的是编码帧率CVmax和编码比特率EVmax。3.根据权利要求2所述的方法，其特征在于，所述调整编码器编码比特率和输入图像的编码帧率的步骤，包括如果优先保证画面清晰度，则提高编码比特率EVmax，降低编码帧率CVmax，如果优先保证画面连续性，则降低编码比特率EVmax，提高编码帧率CVmax。4.根据权利要求1所述的方法，其特征在于，所述获取接收端反馈的接收数据的速率的步骤中，周期性实时获取接收端采用滑动窗口机制测量的接收数据速率。5.根据权利要求1所述的方法，其特征在于，将所述目标信息进行编码的步骤中，使用HEVC或VP9编码方式。6.根据权利要求1所述的方法，其特征在于，还包括将编码后的目标信息进行传输的步骤，其中采用UDP协议在网络上传输。7.一种保证信息实时传输的图像处理装置，其特征在于，包括：第一获取单元，用于获取接收端反馈的接收数据的速率；计算单元，用于根据所述速率和网络回环延迟计算最大接收数据传输率；第二获取单元，用于获取当前发送数据传输率；编码调整单元，用于判断所述当前发送数据传输率与所述最大接收数据传输率的差值是否超出预设阈值，若是则调整编码器编码比特率和输入图像的编码帧率，对目标图像进行编码，使得编码后的最大动态数据率不大于所述最大接收数据传输率。8.一种远程被控设备，其特征在于，包括：采集单元，包括设置在所述远程被控设备的周围视频采集装置，用于采集所述远程被控设备的视频信息；权利要求5所述的图像处理装置，用于将所述视频信息进行动态编码处理后传输；接收单元，接收控制终端的控制指令；执行单元，按照所述控制指令执行相应的动作。9.根据权利要求5所述的远程被控设备，其特征在于，所述采集单元还包括音频采集装置，所述信息实施传输装置将所述视频信息和音频信息进行信息实时传输。10.一种虚拟现实系统，其特征在于，包括：权利要求6或7所述的远程被控设备；2CN105828072A权利要求书2/2页控制终端，实时测量接收数据速率并周期性反馈回所述远程被控设备，接收所述远程被控设备发送的视频信息并显示，接收用户输入的控制指令，并发送所述控制指令给所述远程被控终端；控制服务器，接收所述远程被控设备的视频信息，对所述远程被控设备和所述控制终端进行管理。3CN105828072A说明书1/7页一种图像处理方法、远程被控设备及虚拟现实系统技术领域[0001]本发明涉及信息处理领域，具体涉及一种信息实时传输方法及使用该方法的虚拟