本发明属于扩展现实,尤其涉及一种头显设备校准方法、装置和头显设备校准系统。
背景技术:
1、扩展现实设备(extended reality,xr)能够构建虚拟环境、并让用户与真实场景进行交互。相关技术中,在对扩展现实设备进行眼动测试的过程中,需要通过头显设备的眼动校准环节,即在屏幕上随机出现目标点,然后眼球进行追踪。但是,上述方法需要预先确定追踪点的坐标,且不同的用户人眼校准的标准存在偏差,容易使得校准结果出现误差,且人眼校准耗费时间,效率低,影响后续用户使用体验。
技术实现思路
1、本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种头显设备校准方法、装置和头显设备校准系统,能够提高校准的准确度,减小误差,且无需人工校准,通过模拟设备进行校准,提高校准效率。
2、第一方面,本发明提供了一种头显设备校准方法,应用于头显设备校准系统,所述头显设备校准系统包括可转动的模拟眼球以及随所述模拟眼球同步转动的图像传感器;该方法包括:
3、控制所述图像传感器对头显设备显示的内容进行采集,得到第一图像;
4、获取所述第一图像中待追踪特征点与第一图像中心点之间的位移矢量,并当位移矢量模长超出第一目标阈值时,控制模拟眼球转动,以调整所述图像传感器的位置,随后重新捕捉显示内容,以刷新所述第一图像;
5、当所述位移矢量模长未超出第一目标阈值时,控制所述模拟眼球停止转动。
6、根据本发明的头显设备校准方法,通过图像传感器,采集头显设备显示的内容,得到第一图像,有效确定需要校准的点位的位置信息;基于第一图像中待追踪特征点与第一图像中心点间的距离,有效确定两点位之间的距离是否满足校准需求,在不满足的情况下,基于待追踪特征点、第一图像中心点、模拟眼球相对头显显示屏的距离以及模拟眼球中模拟瞳孔与图像传感器之间的偏角,控制模拟眼球转动,可适用于模拟瞳孔与图像传感器正对以及模拟瞳孔相对图像传感器有一定偏角等多种情况,控制方式具有普适性,且待追踪特征点与第一图像中心点间的距离满足校准需求,通过模拟人眼的模拟眼球进行校准,且通过给定的阈值进行判定,校准是否满足要求,有效确定校准效果,提高校准的准确度,减小误差,且无需人工校准,通过模拟设备进行校准,提高校准效率。
7、根据本发明的头显设备校准方法,所述控制模拟眼球转动,包括:
8、基于所述位移矢量、所述模拟眼球与所述头显设备间的距离,以及所述模拟眼球上的模拟瞳孔与所述图像传感器之间的位置关系,控制所述模拟眼球转动。
9、根据本发明的头显设备校准方法,所述基于所述位移矢量、所述模拟眼球与所述头显设备间的距离,以及所述模拟眼球上的模拟瞳孔与所述图像传感器之间的位置关系,控制所述模拟眼球转动,包括:
10、基于所述位移矢量的模长和方向,确定转动速度和转动方向;
11、基于所述模拟瞳孔与图像传感器之间的位置关系,确定模拟眼球相对图像传感器的偏角;
12、基于所述位移矢量的模长、所述距离以及所述偏角,确定转动角度;
13、基于所述转动速度、所述转动方向和所述转动角度,控制所述模拟眼球转动。
14、根据本发明的头显设备校准方法,基于所述位移矢量的模长,确定转动速度,包括:
15、在首次控制所述模拟眼球转动的情况下,基于初始速度,确定所述转动速度;
16、在非首次控制所述模拟眼球转动的情况下,基于所述位移矢量,确定所述转动速度。
17、根据本发明的头显设备校准方法,基于所述位移矢量的模长,确定转动速度,包括:
18、在所述模长不小于第二目标阈值的情况下,基于所述初始速度、所述模长和初始距离,确定所述转动速度,所述初始距离为在首次控制所述模拟眼球转动的情况下的所述模长;
19、在所述模长小于第二目标阈值的情况下,将所述转动速度确定为目标速度;
20、其中,所述第二目标阈值大于所述第一目标阈值。
21、根据本发明的头显设备校准方法,在所述控制所述模拟眼球停止转动之后,所述方法还包括:
22、控制所述图像传感器对所述头显设备显示的内容进行采集,得到第二图像;
23、对所述第二图像进行图像识别,得到至少一个图像特征;
24、控制所述模拟眼球转动,追踪所述至少一个图像特征中的目标图像特征。
25、第二方面,本发明提供了一种头显设备校准装置,应用于头显设备校准系统,所述头显设备校准系统包括可转动的模拟眼球以及随所述模拟眼球同步转动的图像传感器,该装置包括:
26、控制模块,用于控制所述图像传感器采集头显设备显示的内容,以获得第一图像,并基于所述第一图像中待追踪特征点与第一图像中心点之间的位移矢量、所述模拟眼球上的模拟瞳孔相对所述图像传感器的位置关系以及所述模拟眼球相对所述头显设备间的距离,控制所述模拟眼球的运动。
27、根据本发明的头显设备校准装置,通过图像传感器,采集头显设备显示的内容,得到第一图像,有效确定需要校准的点位的位置信息;基于第一图像中待追踪特征点与第一图像中心点间的距离,有效确定两点位之间的距离是否满足校准需求,在不满足的情况下,基于待追踪特征点、第一图像中心点、模拟眼球相对头显显示屏的距离以及模拟眼球中模拟瞳孔与图像传感器之间的偏角,控制模拟眼球转动,可适用于模拟瞳孔与图像传感器正对以及模拟瞳孔相对图像传感器有一定偏角等多种情况,控制方式具有普适性,且待追踪特征点与第一图像中心点间的距离满足校准需求,通过模拟人眼的模拟眼球进行校准,且通过给定的阈值进行判定,校准是否满足要求,有效确定校准效果,提高校准的准确度,减小误差,且无需人工校准,通过模拟设备进行校准,提高校准效率。
28、第三方面,本发明提供了一种头显设备校准系统,包括:
29、模拟眼球;
30、图像传感器,位于所述模拟眼球内部,且可随所述模拟眼球同步转动,用于采集透过所述模拟眼球的所述头显设备显示的内容,以得到第一图像;
31、控制装置,与所述模拟眼球和所述图像传感器分别连接,且接收所述图像传感器传输的所述第一图像,并基于所述第一图像中待追踪特征点与第一图像中心点之间的位移矢量、所述模拟眼球上的模拟瞳孔相对所述图像传感器的位置关系以及所述模拟眼球相对所述头显设备间的距离,控制所述模拟眼球转动,以完成校准。
32、第四方面,本发明提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的头显设备校准方法。
33、第五方面,本发明提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的头显设备校准方法。
34、第六方面,本发明提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的头显设备校准方法。
35、本发明实施例中的上述一个或多个技术方案,至少具有如下技术效果之一:
36、通过图像传感器,采集头显设备显示的内容,得到第一图像,有效确定需要校准的点位的位置信息;基于第一图像中待追踪特征点与第一图像中心点间的距离,有效确定两点位之间的距离是否满足校准需求,在不满足的情况下,基于待追踪特征点、第一图像中心点、模拟眼球相对头显显示屏的距离以及模拟眼球中模拟瞳孔与图像传感器之间的偏角,控制模拟眼球转动,可适用于模拟瞳孔与图像传感器正对以及模拟瞳孔相对图像传感器有一定偏角等多种情况,控制方式具有普适性,且待追踪特征点与第一图像中心点间的距离满足校准需求,通过模拟人眼的模拟眼球进行校准,且通过给定的阈值进行判定,校准是否满足要求,有效确定校准效果,提高校准的准确度,减小误差,且无需人工校准,通过模拟设备进行校准,提高校准效率。
37、进一步地,通过计算待追踪特征点与第一图像中心点之间的位移矢量,得到待追踪特征点与第一图像中心点之间的方向和大小关系,从而基于得到的方向、大小关系、模拟眼球球心相对头显显示屏的距离以及模拟瞳孔与图像传感器之间的位置关系,控制模拟眼球和图像传感器同步转动,使得待追踪特征点与第一图像中心点之间的距离不断减小,为进行校准提供数据支持,将校准过程量化,提高校准过程的科学性和准确性。
38、更进一步地,通过确定控制模拟眼球转动是否为第一次转动,采取不同的控制模拟眼球转动的方式,在首次控制模拟眼球转动的情况下,基于初始速度,控制模拟眼球转动;在非首次控制的情况下,基于位移矢量,控制模拟眼球转动,基于不同的情况,选择不同的转动速度,提高校准过程中模拟眼球转动的灵活性。
39、再进一步地,通过确定当前模长与给定的第二目标阈值之间的关系,确定控制模拟眼球转动的速度,基于不同的模长,选择不同的转动速度,在模长较长的情况下,以较快的速度控制模拟眼球转动,在模长较小的情况下,以缓慢的速度控制模拟眼球转动,从而实现精准控制模拟眼球,提高校准精度,并降低各种模长情况下,均高速转动模拟眼球进行校准的难度。
40、本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
1.一种头显设备校准方法,其特征在于,应用于头显设备校准系统,所述头显设备校准系统包括可转动的模拟眼球以及随所述模拟眼球同步转动的图像传感器,所述方法包括:
2.根据权利要求1所述的头显设备校准方法,其特征在于,所述控制模拟眼球转动,包括:
3.根据权利要求2所述的头显设备校准方法,其特征在于,所述基于所述位移矢量、所述模拟眼球与所述头显设备间的距离,以及所述模拟眼球上的模拟瞳孔与所述图像传感器之间的位置关系,控制所述模拟眼球转动,包括:
4.根据权利要求3所述的头显设备校准方法,其特征在于,基于所述位移矢量的模长,确定转动速度,包括:
5.根据权利要求4所述的头显设备校准方法,其特征在于,基于所述位移矢量的模长,确定转动速度,包括:
6.根据权利要求1-5任一项所述的头显设备校准方法,其特征在于,在所述控制所述模拟眼球停止转动之后,所述方法还包括:
7.一种头显设备校准装置,其特征在于,应用于头显设备校准系统,所述头显设备校准系统包括可转动的模拟眼球以及随所述模拟眼球同步转动的图像传感器,所述装置包括:
8.一种头显设备校准系统,其特征在于,包括:
9.根据权利要求8所述的头显设备校准系统,其特征在于,所述图像传感器与所述模拟瞳孔正对设置。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-6任一项所述的头显设备校准方法。
11.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6任一项所述头显设备校准方法。