Facebook提出圆柱体外设,高速、精确追踪手指、拇指位置

时间:2020-01-31 来源:www.usadazhong.com

戴上虚拟现实头盔显示器后,用户看不到双手的存在。为了支持用户通过双手与虚拟环境交互,有必要呈现肢体的存在。虚拟现实系统可以使用手跟踪系统来跟踪双手的运动和位置,然后在虚拟环境中渲染它们。

但是根据美国专利商标局最近公布的授权专利,脸谱认为传统系统无法准确跟踪用户手指和拇指的位置,因此无法准确描述手的状态。因此,该公司提出了一种圆柱形跟踪设备,以高精度跟踪和响应用户手势。

专利文件概述:“专利中描述的系统包括被配置为根据显示指令显示一个或多个模拟对象的电子显示器;成像传感器,被配置为捕捉用户手的图像;还有控制台。控制台被配置为根据捕获的图像提取用户手的关节信息,并根据关节信息确定一个或多个姿势。根据确定的姿势,控制台更新显示说明。

脸书进一步解释说,为了实现精确捕捉,成像设备可以通过各种方法捕捉环境的深度数据,比如使用发射网格图形的发射器和先进的计算机视觉算法。

中描述的控制台(圆柱形设备)可以包括应用程序存储、跟踪模块和执行引擎。应用包括游戏应用、视频播放应用或其他合适的应用等。应用程序生成的内容可以响应于从用户接收的输入。

控制台中的跟踪模块可以用一个或多个校准参数校准系统环境,并调整一个或多个校准参数,从而减少判断姿态的判断误差。此外,该系统可以组合来自惯性测量单元组件的信息,以帮助校准。

跟踪模块可以使用深度学习模型来判断用户的手势姿态。这种深度学习模型可以是神经网络,例如卷积神经网络,更具体地说是残差神经网络。因此,控制台可以根据捕获的图像提取用户的手部关节信息,从而有助于准确判断手部姿势。

脸谱网进一步指出,有了这样一个系统,“用户将能够执行手势,这些手势将导致模拟虚拟现实、增强现实和/或混合现实环境中的各种变化。”

相关专利:通过三维高分辨率跟踪和响应手势

名为“通过“通过三维高分辨率跟踪和响应手势”的专利(3D手势的高分辨率跟踪和响应)于2017年5月提交,最近获得美国专利商标局的批准和出版。此外,这只是一项专利,只代表了脸谱在这个方向上的探索。还不确定他们是否或何时将特定发明商业化。

原始链接:

来源:魏莹网