在AR/VR中，用户可以以特定的Avatar虚拟化身形式出现，并可映射真实用户的物理动作，例如《头号玩家》中少年韦德·沃兹的VR化身帕西法尔或《星球大战》中的AR全息莱娅公主。
实际上，苹果早前已经提交过多份与所述主题相关的专利申请，而日前一份名为“Moving an avatar based on real-world data”的发明中，苹果又介绍了一种通过基于外部传感器的信息来移动Avatar虚拟化身的方法。
简单来说，专利描述的实施例允许SR系统能够基于外部传感器检测的用户移动信息来为用户的SR表示生成移动序列。用户的移动信息表征了用户在不同时间的身体姿势。例如，移动信息表征用户在第一时间的第一身体姿势和用户在第二时间的第二身体姿势。
如果不同身体姿势之间的转换满足可接受性阈值，则根据为SR表示生成的移动序列移动SR表示。例如，如果第一身体姿势和第二身体姿势之间的转换满足可接受性阈值，则根据为SR表示生成的移动序列移动SR表示。
在一个实施例中，可接受性阈值指定一个持续时间，如果在可接受性阈值指定的持续时间内完成转换，则转换满足可接受性阈值。在一个实施例中，如果转换包含与模板身体移动匹配的移动，则转换满足可接受性阈值。
图1是基于上述实施例的一个的示例性操作环境100，其包括由用户108穿戴的头戴式显示器120，两个外部传感器130A和130B，以及一个控制组件110。需要理解的是，在其他实施例中可以包括两个或以上的外部传感器。
在一个实施例中，控制组件110配置成管理和协调用户的SR沉浸式体验。控制组件可以是一个本地服务器或一个远程服务器，并以有线或无线方式来与头显和外部传感器耦合。
在一个实施例中，两个外部传感器130A和130B配置成检测用户108的移动，并为控制组件110和/或头显120提供与用户108相关的移动信息。
外部传感器包括图像传感器，而移动信息包括用户的图像。其中，移动信息132表征用户108的一个或多个身体姿势。在一个实施例中，移动信息132表征用户108在不同时间的身体姿势。例如，移动信息132在第一时间表征第一身体姿势，在第二时间表征第二身体姿势。在一个实施例中，移动信息132指示用户108的关节位置和/或关节方向。
头显120可以向用户108呈现SR内容124，其中SR内容124包括对应于用户108的Avartar虚拟化身126。在一个实施例中，控制组件110和/或头显120可以基于移动信息132来致使Avatar126移动。在一个实施例中，如果移动信息132指示身体姿势之间的转换满足可接受性阈值，则Avatar126移动。
图2是控制组件110的示例框图。其中，控制组件包括SR体验模块240。SR体验模块240包括数据获取单元242、姿势评估单元244、移动生成单元246和数据发送单元248。
在一个实施例中，数据获取单元242配置为从头显120和外部传感器130A-B中的至少一个获取数据。例如，数据获取单元242可以获取图1所示的移动信息132，或者数据获取单元242获取场景105的图像。在这种实现中，数据获取单元242执行场景理解以识别用户108和用户108的身体姿势。例如，数据获取单元242可以基于所获得的数据确定用户108的关节位置和/或关节方向。
在一个实施例中，姿势评估单元244确定身体姿势之间的转换是否满足可接受性阈值。例如在一个实施例中，姿势评估单元244确定从用户108在第一时间的第一身体姿势到用户108在第二时间的第二身体姿势的转换是否满足可接受性阈值。
在一个实施例中，可接受性阈值与空间可接受性相关。姿势评估单元244确定转换是否包括在模板可接受阈值内的移动。例如，姿势评估单元244确定用户108的关节位置和/或关节方向是否匹配模板关节位置和/或模板关节方向。
在一个实施例中，可接受性阈值与时间可接受性相关。姿势评估单元244确定转换是否在可接受性阈值指示的时间量内完成。例如，姿势评估单元244确定第一时间和第二时间之间的时间差是否在由可接受性阈值指示的阈值时间段内。
在一个实施例中，姿势评估单元244确定可接受性阈值。在一个实施例中，姿势评估单元244接收指示可接受性阈值的用户输入。姿势评估单元244基于用户108的过去表现来调整可接受性阈值。例如，如果用户108在满足可接受性阈值方面有困难，则姿势评估单元244放松可接受性阈值。在一些实现中，如果用户108太容易满足可接受性阈值，则姿势评估单元244收紧可接受性阈值。
响应于满足可接受性阈值的身体姿势之间的转换，生成单元246为Avatar126生成移动序列。在一个实施例，移动生成单元246为Avatar126选择模板身体移动。移动生成单元246从存储在存储器220中的一组模板身体移动中选择模板身体移动。在一个实施例中，移动生成单元246基于用户108的第一身体姿势和第二身体姿势选择模板身体移动。在这种实现中，移动生成单元246针对用户108的不同开始和结束身体姿势选择不同的模板身体移动。
数据发送单元248配置为向头显120发送数据，例如将Avatar126的移动序列发送到头显120。
图3是头显的示例性框图。在一个实施例中，头显包括SR呈现单元344，后者配置为经由一个或多个SR显示器312呈现SR内容。在一个实施例中，SR呈现单元344从控制组件110获取与SR内容124相对应的数据。或者，SR呈现单元344利用移动信息132来合成SR内容124。在各种实现中，SR呈现单元344向用户108呈现SR内容124。
专利图4是外部传感器的示例性框图
在一个实施例中，两个外部传感器130A和130B配置成检测用户108的移动，并为控制组件110和/或头显120提供与用户108相关的移动信息。
外部传感器包括图像传感器，而移动信息包括用户的图像。其中，移动信息132表征用户108的一个或多个身体姿势。在一个实施例中，移动信息132表征用户108在不同时间的身体姿势。例如，移动信息132在第一时间表征第一身体姿势，在第二时间表征第二身体姿势。在一个实施例中，移动信息132指示用户108的关节位置和/或关节方向。
图5A-5B说明了示例性移动信息500/500A。移动信息500表征用户在第一时间512的第一身体姿势510和用户在第二时间522的第二身体姿势520。图5A同时示出了从第一身体姿势510到第二身体姿势520的过渡530。
在图5A的示例中，转换530满足可接受性阈值540。在一个实施例中，转换530满足可接受性阈值540，因为转换530包括与模板身体移动匹配的移动。例如，过渡530包括与相应模板身体姿势匹配的中间身体姿势。由于转换530满足可接受性阈值540，所以控制组件110和/或头显120为用户108的SR表示126生成移动序列。所以，移动信息500将致使用户108的Avatar126移动。
图5B示出了示例移动信息500A。移动信息500A表征用户在第三时间552的第三身体姿势550和用户在第四时间562的第四身体姿势560。图5B同时示出了从第三身体姿势550到第四身体姿势560的过渡570。在图5B的示例中，转换570违反（不满足）可接受性阈值580。例如，转换570包括与模板身体移动不匹配的移动，例如过渡570包括与相应模板身体姿势不匹配的中间身体姿势。由于转换570不满足可接受性阈值580，控制组件110和/或头显120不为用户108的Avatar126生成移动序列。所以，移动信息500A不会致使用户108的Avatar126移动。
在一个实施例中，可接受性阈值根据满足可接受性阈值的先前转换而改变。例如，如果先前转换的阈值数量满足图5A的可接受阈值540，则控制组件110和/或头显120将可接受阈值540缩小到图5B所示的可接受阈值580。如果先前转换的阈值数量违反图5B的可接受阈值580，则控制组件110和/或头显120将可接受阈值580加宽到图5A所示的可接受阈值540。
在一个实施例中，可接受性阈值的变化程度是前一个过渡的破坏程度的函数。例如，如果先前的转换超出可接受性阈值5-10%，则控制组件110和/或头显120将可接受性阈值扩大12%。但如果之前的转换违反可接受性阈值20-30%，则控制组件110和/或头显120将可接受性阈值扩大35%。
在一个实施例中，根据之前的转换更改可接受性阈值可以增强用户体验。根据之前的转换更改可接受性阈值可以考虑不同能力的用户。缩小可接受性阈值会鼓励用户改善他/她的身体姿势转换，而扩大可接受性阈值允许用户满足可接受性阈值。
相关专利：Apple Patent | Moving an avatar based on real-world data
名为“Moving an avatar based on real-world data”的苹果专利申请最初在2021年3月提交，并在日前由美国专利商标局公布。
