本技术涉及头戴式显示器、信息处理装置和信息处理方法。
背景技术:
1、在诸如包括摄像装置的头戴式显示器(hmd)的虚拟现实(vr)设备中有一种称为视频透视(video see through,vst)的功能。通常,当佩戴hmd时,视野被显示器和壳体阻挡,用户看不到外部状态。然而,通过在包括在hmd中的显示器上显示由摄像装置捕获的外部世界的图像,用户可以在佩戴hmd时看到外部状态。
2、在vst功能中,物理上不可能完全匹配摄像装置和用户眼睛的位置,在两个视点之间总是发生视差。因此,当摄像装置拍摄的图像按原样显示在显示器上时,对象的大小和双目视差与现实略有不同,从而出现空间不适。人们认为这种不适阻碍了与真实对象的交互或导致vr疾病。
3、因此,考虑使用称为“视点转换”的技术来解决这个问题,该技术基于由vst摄像装置捕获的外部世界视频(颜色信息)和几何形状(三维地形)信息来再现从用户眼睛的位置观看的外部世界视频。
4、由于结构限制,用于在具有vst功能的hmd中观察外部世界的vst摄像装置通常设置在hmd前面和用户眼睛前面的位置。此外,为了最小化摄像装置视频与实际眼睛位置之间的视差,左眼显示器的图像通常由来自左摄像装置的图像生成,右眼显示器的图像通常由来自右摄像装置的视频生成。
5、然而,当vst摄像装置的图像按原样在hmd的显示器上显示时,图像变成其中眼睛跳出的视频。为了避免这种情况,使用了视点转换技术。基于由距离测量传感器获得的周围环境的几何信息,使左右摄像装置的相应图像变形,并且使原始图像变形以近似于从用户眼睛的位置观看的图像。
6、在这种情况下,优选地在靠近用户眼睛的距离处捕获原始图像,因为与最终视点视频的差异很小。因此,通常认为理想的是将vst摄像装置放置在使vst摄像装置与用户眼睛之间的距离最小化的位置,也就是说,将vst摄像装置放置在用户眼睛的直线上。
7、然而,当以这种方式设置vst摄像装置时,存在由于遮挡对象而导致的遮挡区域大量出现的问题。因此,在包括多个物理摄像装置的成像系统中,存在基于来自多个视点的摄像装置视频生成来自虚拟摄像装置视点的视频的技术(专利文献1)。
8、文献列表
9、专利文献
10、专利文献1:日本专利申请公开第2012-201478号
技术实现思路
1、本发明要解决的问题
2、在专利文献1中,在根据最接近最终虚拟摄像装置视点的主摄像装置中的彩色图像和距离图像生成虚拟视点视频之后,基于第二接近最终虚拟摄像装置视点的副摄像装置组的彩色图像和距离图像生成用于主摄像装置的遮挡区域的虚拟视点视频。然而,这不足以减少作为hmd中的问题的遮挡区域。
3、本技术是针对这样的问题而提出的,其目的是提供头戴式显示器、信息处理装置和信息处理方法,其能够减少在具有vst功能的头戴式显示器上显示的图像中生成的遮挡区域。
4、问题的解决方案
5、为了解决上述问题,第一技术是头戴式显示器,其包括:显示左眼用显示图像的左显示器;显示右眼用显示图像的右显示器;壳体,其支撑左显示器和右显示器以位于用户的眼睛的前面;以及捕获左摄像装置图像的左摄像装置和捕获右摄像装置图像的右摄像装置,左摄像装置和右摄像装置设置在壳体的外部,其中左摄像装置与右摄像装置之间的间隔比用户的眼间距离宽。
6、此外,第二技术是信息处理设备,其被配置成:执行与包括左摄像装置和左显示器以及右摄像装置和右显示器的头戴式显示器对应的处理;通过将由左摄像装置捕获的左摄像装置图像投影到左显示器的视点上并对像素值进行采样来生成左眼用显示图像;以及通过将由右摄像装置捕获的右摄像装置图像投影到右显示器的视点上并对像素值进行采样来生成右眼用显示图像。
7、此外,第三技术是信息处理方法,包括:执行与包括左摄像装置和左显示器以及右摄像装置和右显示器的头戴式显示器对应的处理;通过将由左摄像装置捕获的左摄像装置图像投影到左显示器的视点上并对像素值进行采样来生成左眼用显示图像;以及通过将由右摄像装置捕获的右摄像装置图像投影到右显示器的视点上并对像素值进行采样来生成右眼用显示图像。
1.一种头戴式显示器,包括:
2.根据权利要求1所述的头戴式显示器,其中,
3.根据权利要求1所述的头戴式显示器,其中,
4.根据权利要求1所述的头戴式显示器,其中,
5.根据权利要求4所述的头戴式显示器,其中,
6.根据权利要求4所述的头戴式显示器,其中,
7.根据权利要求1所述的头戴式显示器,其中,
8.根据权利要求7所述的头戴式显示器,其中,
9.根据权利要求1所述的头戴式显示器,其中,
10.根据权利要求9所述的头戴式显示器,其中,
11.根据权利要求1所述的头戴式显示器,其中,
12.根据权利要求11所述的头戴式显示器,其中,
13.根据权利要求1所述的头戴式显示器,其中,
14.根据权利要求1所述的头戴式显示器,其中,
15.根据权利要求1所述的头戴式显示器,其中,
16.根据权利要求3所述的头戴式显示器,其中,
17.一种信息处理装置,其被配置成:
18.根据权利要求17所述的信息处理装置,其中,
19.根据权利要求17所述的信息处理装置,其中,
20.一种信息处理方法,包括: