基于XR技术的人机交互系统，实现虚拟世界与现实世界之间无缝转换_视角_图像_用户

Web3.0全息空间互联网的概念提出，让人们更加重视与虚拟数字空间的交互体验。可穿戴设备也进入了快速发展阶段，XR被越来越多的提及，XR(Extended Reality，扩展现实)是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合、可人机交互的环境，是AR、VR、MR等多种形式的统称。也是下一代计算机平台的的关键技术，现有的XR技术，大多是以物体的主视角为基础，进行沉浸感体验，每位体验者在不同位置处观察同一物体时，往往看到的是同一视角下的物体形态，缺乏在同一空间内，对于该物体从不同视角下的全方位观察体验。并且，现有的全方位观察方法，是以物体为中点进行环绕式旋转，用户的体验较差，且画面缺乏违和感。基于此WIMI微美全息开发了一种基于XR技术的人机交互方法及系统，用于增强用户体验感，并且实现在不同位置处视角随之变化的技术效果。视觉交互技术融合，实现虚拟世界与现实世界之间无缝转换的“沉浸感”体验。

WIMI微美全息的基于XR技术的人机交互方法及系统基于交互任务，通过采集用户位置和用户观察视角，获取用户的主视角图像、辅助视角图像，以及主视角图像和辅助视角图像之间的配置方法和融合模式。其中，用户观察视角包括第一人称视角和/或第三人称视角。基于用户观察视角和用户位置，根据配置方法和融合模式，构建基于用户观察视角的多视角融合图像，用于为用户提供不同的视角图像，其中，视角图像包括主视角图像和/或辅助视角图像。在采集用户观察视角的过程中，根据用户位置，通过采集用户的用户指令，获取交互任务，其中，用户指令包括语音指令和/或动作指令。在获取视角图像的过程中，根据交互任务的任务类型，获取视角图像，其中，任务类型用于表示用户对于视角图像的成像要求。根据成像要求，获取配置方法和融合模式。在获取交互任务的过程中，当交互任务对近距离空间的观察感知能力要求较高，对于远距离空间的感知能力要求较低时，用户观察视角为第一人称视角为主视角，多视角融合图像为主视角图像。当交互任务对于近距离空间和远距离空间的观察感知能力都要求一般时，用户观察视角为第一人称视角或第三人称视角为主视角，多视角融合图像为主视角图像或辅助视角图像。

当交互任务对于近距离空间和远距离空间的观察感知能力都要求较高时，用户观察视角为第一人称视角和/或第三人称视角为主视角，多视角融合图像为主视角图像和辅助视角图像的融合图像。当交互任务对近距离空间的观察感知能力要求较低，对于远距离空间的感知能力要求较高时，用户观察视角为第三人称视角为主视角，多视角融合图像为辅助视角图像。在当交互任务对于近距离空间和远距离空间的观察感知能力都要求一般的过程中，基于主视角图像的第一边缘，获取第一边缘对应的辅助视角图像，并将辅助视角图像与主视角图像进行拼接，生成多视角融合图像，其中，用户通过用户指令，切换主视角图像和辅助视角图像。

WIMI微美全息的基于XR技术的人机交互方法，在当交互任务对于近距离空间和远距离空间的观察感知能力都要求较高的过程中，根据主视角图像的第一特征，采集第一特征在辅助视角图像对应的第二特征，将第二特征对应的图像，融合到主视角图像中，其中，用户通过选择第一特征，获取第二特征。在当交互任务对于近距离空间和远距离空间的观察感知能力都要求较高的过程中，根据辅助视角图像的第三特征，采集第三特征在辅助视角图像对应的第四特征，将第四特征对应的图像，融合到辅助视角图像中。如，用户可以通过选择第一特征和第四特征，获取第二特征和第三特征对应的多视角融合图像。

WIMI微美全息的基于XR技术的人机交互系统，包括交互任务获取模块，数据处理模块，图像融合模块，指令获取模块，数据存储模块，数据融合模块。

展开全文

交互任务获取模块，用于根据用户位置，通过采集用户的用户指令，获取交互任务，其中，用户指令包括语音指令和/或动作指令。

数据处理模块，用于基于交互任务，通过采集用户位置和用户观察视角，获取用户的主视角图像、辅助视角图像，以及主视角图像和辅助视角图像之间的配置方法和融合模式，其中，用户观察视角包括第一人称视角和/或第三人称视。

图像融合模块，用于基于用户观察视角和用户位置，根据配置方法和融合模式，构建基于用户观察视角的多视角融合图像，用于为用户提供不同的视角图像，其中，视角图像包括主视角图像和/或辅助视角图像。

指令获取模块，用于通过采集用户的语音和动作，获取用户的语音指令和动作指令。

数据存储模块，用于存储视角图像。

数据融合模块，用于通过采集不同用户对于同一物体的视角图像，根据每个视角图像的相同特征进行图像融合，生成多视角融合图像。

WIMI微美全息的基于XR技术的人机交互系统通过采集用户的不同指令，根据用户的位置生成对应该用户位置多视角图像，用户能够通过切换主视角图像和辅助视角图像，或者通过选择图像中的特征点，来进行多角度图像的观察，实现了对于同一物体的多角度观察的技术需求，并为多用户融合的人机交互智能处理技术提供了技术参考。XR技术组合生成的多视角融合图像，能够广泛应用于社交、办公、娱乐、展览、教育等大批新应用场景，这将为XR产业提供广阔的发展空间，通过为用户提供不同位置的多视角融合图像，将虚拟世界更加现实化，同时也将现实世界更加虚拟化，可以预料的是，通过大数据的方法，将一些实现标准物体进行虚拟化，当融合了WIMI微美全息的基于XR技术的人机交互系统基于XR技术的人机交互系统提到的多视角融合方案时，有助于用户进行虚拟现实的融合比对，为当前物体的缺陷检测、特征观察等应用领域也提供了一种可行性的解决方案。