基于人眼追踪的三维显示方法及装置

专利检索2026-09-06  5


本发明涉及三维显示,尤其涉及一种基于人眼追踪的三维显示方法及装置。


背景技术:

1、三维光场显示技术是除全息三维显示技术和助视三维显示技术之外的另一种不需要借助眼镜和头盔等辅助设备,直接通过与传统平面显示设备类似的光场显示设备,实现的一种裸眼观看3d内容的技术。随着人们研究的不断深入,多种光场显示技术应运而生,例如:光栅三维显示和集成成像三维显示等。这些技术大多利用双目视差的原理,将拍摄同一场景的多视点图像按照光学透镜的成像特点编码合成为一张光场显示图像,并加载到三维光场显示器上,实现观看者在一定范围内移动时看到立体的显示效果。

2、在三维光场显示中,裸眼观看的可视角度与清晰度存在反比关系。在同样大小和分辨率的三维光场显示器上,因为总信息量保持不变,使用更多视点编码会拓展观看者可选择的视角范围,但会降低整体显示的清晰度。人眼追踪技术与三维显示相结合,采用分辨率更高的单视点视频,且减少光场编码的多视点视频的数量,可以在保持大范围观看视角的同时提升显示清晰度。尽管人眼追踪的三维显示降低了光场编码合成的视频数量,但要满足广阔的观看视角,仍需要大量的多视点视频。同时,更高的单视点视频分辨率导致数据量急剧增加,导致在显示过程中存在大量的数据冗余。


技术实现思路

1、本发明提供一种基于人眼追踪的三维显示方法及装置,用以解决现有技术中在大范围观看视角的同时提升显示清晰度的情况下,导致的数据冗余的问题。

2、本发明提供一种基于人眼追踪的三维显示方法,包括:

3、生成待显示的3d光场视频,所述3d光场视频包括多个视点视频,每个视点视频对应唯一的视点编号;

4、压缩所述3d光场视频,并存储压缩后的3d光场视频;

5、获取人眼所处的三维空间的坐标位置;

6、基于所述坐标位置确定人眼在三维显示器的视区内的视点编号;

7、对压缩后的3d光场视频中所述视区内的视点编号对应的视频解压缩,得到所述视区内的3d光场视频;

8、根据三维显示器的像素排布,对所述视区内的3d光场视频进行合成编码,将合成编码后的光场编码图加载到三维显示器显示。

9、根据本发明提供的一种基于人眼追踪的三维显示方法,压缩所述3d光场视频,并存储压缩后的3d光场视频,包括:

10、对生成的超高分辨率多视点视频,从视点编号最小的视点开始每间隔m个视点抽取一个视点作为关键视点,两个关键视点之间的视点作为非关键视点;

11、基于多视点视频的几何相关性和局部运动特性,对关键视点视频和非关键视点视频进行压缩,得到压缩后的关键视频数据和非关键运动向量数据;

12、创建包含视点编号,关键视点标志,单向预测视点标志和双向预测视点标志的全局索引,并将所述全局索引、压缩后的关键视频数据和非关键运动向量数据存储。

13、根据本发明提供的一种基于人眼追踪的三维显示方法,基于多视点视频的几何相关性和局部运动特性,对关键视点视频和非关键视点视频进行压缩,得到压缩后的关键视频数据和非关键运动向量数据,包括:

14、以所述关键视点视频为独立视频,对所述独立视频编码压缩,得到压缩后的关键视频数据;

15、对于任一非关键视点视频的每帧图像,利用与所述任一非关键视点视频相邻的关键视点视频中相应帧图像,进行运动预测,得到非关键运动向量数据。

16、根据本发明提供的一种基于人眼追踪的三维显示方法,对于任一非关键视点视频的每帧图像,利用与所述任一非关键视点视频相邻的关键视点视频中相应帧图像,进行运动预测,得到非关键运动向量数据,包括:

17、将非关键视点视频划分为单向预测视点视频和双向预测视点视频;

18、对于任一单向预测视点视频,选择与所述任一单向预测视点视频最近的关键视点视频或第一参考视点视频中相应帧图像,进行运动预测,所述第一参考视点视频为所述任一单向预测视点视频到最近的关键视点视频之间的其它单向预测视点视频;

19、对于任一双向预测视点视频,选择与所述任一双向预测视点视频相邻的两个第二参考视点视频中相应帧图像,进行运动预测,所述第二参考视点视频为所述任一双向预测视点视频相邻的关键视点视频或单向预测视点视频。

20、根据本发明提供的一种基于人眼追踪的三维显示方法,所述m按如下公式计算:

21、

22、其中,λ为角度阈值,表示相邻关键视点最大可选取的间隔角度,△θ=θ/n,表示视点角度间隔,θ表示三维显示器最大可视角度,n为视点总数。

23、根据本发明提供的一种基于人眼追踪的三维显示方法,对压缩后的3d光场视频中所述视区内的视点编号对应的视频解压缩,得到所述视区内的3d光场视频,包括:

24、基于所述全局索引获取所述视区内的视点编号对应的关键视点标志、单向预测视点标志和双向预测视点标志;

25、基于所述视区内的视点编号对应的关键视点标志、单向预测视点标志和双向预测视点标志,对所述视区内的视点编号对应的关键视频数据和非关键运动向量数据进行解压缩,以解压出所述视区内的3d光场视频。

26、根据本发明提供的一种基于人眼追踪的三维显示方法,基于所述坐标位置确定人眼在三维显示器的视区内的视点编号,包括:

27、基于所述坐标位置确定人眼在水平方向上距原点的人眼偏移量,所述原点为最小编号的视点;

28、基于所述人眼偏移量、视点总数和所有视点在水平方向上的总偏移量计算中心视点编号;

29、基于所述中心视点编号和三维显示器的视区范围确定所述视区内的视点编号。

30、本发明还提供一种基于人眼追踪的三维显示装置,包括:

31、视频生成模块,用于生成待显示的3d光场视频,所述3d光场视频包括多个视点视频,每个视点视频对应唯一的视点编号;

32、视频压缩模块,用于压缩所述3d光场视频,并存储压缩后的3d光场视频;

33、人眼位置获取模块,用于获取人眼所处的三维空间的坐标位置;

34、视点编号确定模块,用于基于所述坐标位置确定人眼在三维显示器的视区内的视点编号;

35、视频解压模块,用于对压缩后的3d光场视频中所述视区内的视点编号对应的视频解压缩,得到所述视区内的3d光场视频;

36、合成编码模块,用于根据三维显示器的像素排布,对所述视区内的3d光场视频进行合成编码,将合成编码后的光场编码图加载到三维显示器显示。

37、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述的基于人眼追踪的三维显示方法。

38、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的基于人眼追踪的三维显示方法。

39、本发明提供的基于人眼追踪的三维显示方法及装置,通过生成待显示的3d光场视频,所述3d光场视频包括多个视点视频,每个视点视频对应唯一的视点编号;压缩所述3d光场视频,并存储压缩后的3d光场视频;获取人眼所处的三维空间的坐标位置;基于所述坐标位置确定人眼在三维显示器的视区内的视点编号;对压缩后的3d光场视频中所述视区内的视点编号对应的视频解压缩,得到所述视区内的3d光场视频;根据三维显示器的像素排布,对所述视区内的3d光场视频进行合成编码,将合成编码后的光场编码图加载到三维显示器显示。在三维显示过程中,由于对包括多个视点视频的3d光场视频进行压缩,且只对人眼所在视区内的视点编号对应的视频进行解码并显示,从而达到了在大范围观看视角的同时提升显示清晰度的情况下,减少了数据冗余的效果。


技术特征:

1.一种基于人眼追踪的三维显示方法,其特征在于,包括:

2.根据权利要求1所述的基于人眼追踪的三维显示方法,其特征在于,压缩所述3d光场视频,并存储压缩后的3d光场视频,包括:

3.根据权利要求2所述的基于人眼追踪的三维显示方法,其特征在于,基于多视点视频的几何相关性和局部运动特性,对关键视点视频和非关键视点视频进行压缩,得到压缩后的关键视频数据和非关键运动向量数据,包括:

4.根据权利要求3所述的基于人眼追踪的三维显示方法,其特征在于,对于任一非关键视点视频的每帧图像,利用与所述任一非关键视点视频相邻的关键视点视频中相应帧图像,进行运动预测,得到非关键运动向量数据,包括:

5.根据权利要求2所述的基于人眼追踪的三维显示方法,其特征在于,所述m按如下公式计算:

6.根据权利要求2所述的基于人眼追踪的三维显示方法,其特征在于,对压缩后的3d光场视频中所述视区内的视点编号对应的视频解压缩,得到所述视区内的3d光场视频,包括:

7.根据权利要求1至6中任一项所述的基于人眼追踪的三维显示方法,其特征在于,基于所述坐标位置确定人眼在三维显示器的视区内的视点编号,包括:

8.一种基于人眼追踪的三维显示装置,其特征在于,包括:

9.一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于人眼追踪的三维显示方法。

10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于人眼追踪的三维显示方法。


技术总结
本发明涉及三维显示技术领域,提供一种基于人眼追踪的三维显示方法及装置,所述方法包括:生成待显示的3D光场视频,所述3D光场视频包括多个视点视频,每个视点视频对应唯一的视点编号;压缩所述3D光场视频,并存储压缩后的3D光场视频;获取人眼所处的三维空间的坐标位置;基于所述坐标位置确定人眼在三维显示器的视区内的视点编号;对压缩后的3D光场视频中所述视区内的视点编号对应的视频解压缩,得到所述视区内的3D光场视频;根据三维显示器的像素排布,对所述视区内的3D光场视频进行合成编码,将合成编码后的光场编码图加载到三维显示器显示。本发明只对人眼所在视区内的视点编号对应的视频进行解码并显示,从而减少了数据冗余。

技术研发人员:邢树军,于迅博,王悦,高鑫,李宁驰,沈圣,胡云帆,颜玢玢,桑新柱
受保护的技术使用者:北京邮电大学
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1167617.html

最新回复(0)