本发明涉及一种用于改善眼动跟踪系统的性能的方法和系统。特别地，本发明涉及将角膜的光学特性考虑在内来确定人眼的入射光瞳。
背景技术：
1、监测或跟踪眼睛运动和凝视点在近年来已经成为重要且广泛使用的技术。眼动跟踪可以以可被描述为被动的方式使用——检索有关用户正在注视的位置的信息，该信息又可以用于分析人的行为和意识。利用眼动跟踪的研究示例包括软件和不同类型界面的使用，主页、广告和宣传的评估，用于在模拟器环境中培训飞行员的手段，心理学、行为科学和人类感知的研究以及各种类型的视觉缺陷和疾病的诊断。
2、眼动跟踪也可以以可被描述为主动或交互的方式使用——主动使用来自眼动跟踪系统的信息来影响用户当前正在观看的显示器上的内容和/或呈现。交互式眼动跟踪技术的应用范围从为身体残疾人士提供辅助到高级游戏。辅助产品可以例如通过一程序而利于身体残疾人士可以与计算机进行交互，在该程序中，计算机的监视器上身体残疾人士所注视的那些对象被激活。在游戏中，通过用户的凝视影响图像的呈现以及控制游戏中使用的对象的过程，可以极大地增强游戏体验。特别相关的技术是被称为扩展现实(xr)技术的技术，为了改善用户体验，该技术通常利用头戴式设备hmd。xr应用包括虚拟现实(vr)、增强现实(ar)以及混合现实(mr)，在虚拟现实中，人完全沉浸在由hmd提供的虚拟环境中，在增强现实中，用计算机生成的叠加层对用户的真实世界环境进行补充，在混合现实中，以计算机生成的对象与用户看到的真实世界交互的方式融合了计算机生成的ar叠加层。
3、大多数利用眼动跟踪的技术都基于人眼的模型以及描述眼睛的多个参数。最重要的参数之一是入射光瞳，它是通过角膜折射而看到的解剖学瞳孔即实际物理光圈的虚像。对于在另一个人前面的观察者、或者眼动跟踪系统的相机来说，另一个人的眼睛的入射光瞳位置是观察者在注视他们的眼睛时直觉地认为瞳孔所在的位置。为了改善眼动跟踪系统和依赖眼动跟踪的技术的性能，非常需要能够准确地提供真实的入射光瞳位置的方法和系统。另外，这样的方法和系统在许多情况下必须速度快并且计算量不要太大，因为许多应用是将被用户感知为实时发生的实时应用或游戏或模拟。
4、“accommodation-dependent model of the human eye with aspherics[非球面人眼的调整依赖模型]”，navarro r.、santamaría j.、bescós j.，j.opt.soc.am.《美国光学学会期刊》a 2(8),1273-1281(1985)。10.1364/josaa.2.001273公开了一种广泛使用的示意性眼睛模型，其将被称为“navarro”。该示意性眼睛模型在例如“the entrance pupilof the human eye:a three-dimensional model as a function of viewing angle[人眼的入射光瞳：随观看角度变化的三维模型]”fedtke,cathleen等人，optics express《光学快报》第18卷，21(2010):22364-76.doi:10.1364/oe.18.022364中被使用，以通过光线追踪来对随观看角度和瞳孔大小变化的入射光瞳外观进行建模。该出版物将被称为“fedtke”。
技术实现思路
1、本发明的目的是提供一种有助于准确确定眼动跟踪系统的用户的眼睛的入射光瞳位置的方法和系统。
2、这是通过权利要求1中限定的方法以及权利要求15中限定的眼动跟踪系统来实现的。
3、根据本发明的一个方面，提供了一种确定眼动跟踪系统的用户的眼睛的入射光瞳位置的方法。该方法涉及一种眼动跟踪系统，该系统至少包括被布置成提供眼睛的图像的第一相机，并且该方法包括以下步骤：-确定眼睛的光轴；-从第一相机接收图像；-从所接收到的图像中检测图像瞳孔中心；-使用所检测到的图像瞳孔中心来确定眼睛中的入射光瞳位置的第一估计；-选择虚拟视点；以及-至少使用入射光瞳位置的第一估计、眼睛的光轴以及事先确定的入射光瞳位移模型来计算与所选择的虚拟视点相关的经视点调节的入射光瞳位置，其中，入射光瞳位移模型至少对眼睛的角膜的折射特性的角度依赖性进行建模。
4、根据本发明的一个实施例，确定入射光瞳位置的第一估计的步骤可以包括通过反向投影所检测到的图像瞳孔中心来构建从第一相机中心穿过从第一相机看到的入射光瞳的第一相机光线。
5、根据本发明的一个实施例，眼动跟踪系统可以进一步包括第二相机，该方法可以进一步包括以下步骤：-从第一相机(140)接收第一图像，并且从第二相机接收第二图像；-从所接收到的第一图像中检测第一图像瞳孔中心，并且从所接收到的第二图像中检测第二图像瞳孔中心；-使用第一图像瞳孔中心来确定入射光瞳位置的第一估计，并且使用第二图像瞳孔中心来确定入射光瞳位置的第二估计；以及-使用入射光瞳位置的第一估计和第二估计、眼睛的光轴以及事先确定的入射光瞳位移模型来计算经视点调节的入射光瞳位置。
6、根据本发明的一个实施例，确定入射光瞳位置的第一估计和第二估计的步骤可以进一步包括：-构建与第一相机相关联的第一相机光线；以及-构建与第二相机相关联的第二相机光线，这些光线是通过反向投影图像瞳孔中心从相应的相机中心穿过从相应的相机看到的入射光瞳来构建的；并且其中，计算经视点调节的入射光瞳位置的步骤可以进一步包括以下子步骤：-引入与第一相机相关联的第一虚拟相机和/或引入与第二相机相关联的第二虚拟相机；-确定虚拟相机光线，该虚拟相机光线是分别移位了第一距离d0、d1的第一相机光线和第二相机光线中的一者或两者，其中，使用事先确定的入射光瞳位移模型来确定第一距离(d0、d1)；-使用第一相机光线与第二虚拟相机光线之间的交点来重新构建从第一相机看到的入射光瞳，和/或用第一相机光线与第一虚拟相机光线之间的交点来重新构建从第二相机看到的入射光瞳，位移对应于在第一相机与第二相机之间改变视点时入射光瞳的平移；以及-通过分别用第二距离a0、a1中的一者或两者调节所重新构建的入射光瞳来计算经视点调节的入射光瞳位置，其中，第二距离是将与第一相机相关联的视点改变到所选择的视点时入射光瞳的相对位移或将与第二相机相关联的视点改变到所选择的视点时入射光瞳的相对位移，使用事先确定的入射光瞳位移模型来确定第二距离(a0、a1)。
7、根据本发明的一个实施例，确定入射光瞳位置的第一估计的步骤可以包括：-构建与第一相机相关联的第一相机光线，该光线是通过反向投影图像瞳孔中心从第一相机中心穿过从第一相机看到的入射光瞳来构建的；并且其中，计算经视点调节的入射光瞳位置的步骤包括以下子步骤：-至少引入与第一相机相关联的第一虚拟相机；-确定第二虚拟相机光线为移位的光轴；-构建第一虚拟相机光线，如果从光轴的视角观看，则从第一虚拟相机构建的光线从第一相机光线移位了第一距离d0，其中，第一距离d0对应于将来自第一相机的视点改变到沿光轴的位置时入射光瞳的平移，其中，进一步使用事先确定的入射光瞳位移模型来确定第一距离d0；-使用第一虚拟相机光线与第二虚拟相机光线之间的交点来重新构建从第二虚拟相机光线的视角看到的入射光瞳；以及-使用事先确定的入射光瞳位移模型，通过就像从所选择的视点观看那样调节所重新构建的入射光瞳，来计算经视点调节的入射光瞳位置。
8、根据本发明的一个实施例，除了对角膜的折射特性的角度依赖性进行建模之外，事先确定的入射光瞳位移模型可以进一步基于以下至少一项或其组合：角膜形貌或半径的变化、瞳孔大小、调整变化、以及瞳孔平面偏移。
9、根据本发明的各方面，可以在扩展现实应用(比如虚拟或增强现实应用)中使用经视点调节的入射光瞳位置，例如它可以被用于调节在3d呈现中使用的虚拟相机的位置。经视点调节的入射光瞳位置还可以用在与眼动跟踪系统结合使用的其他可调节光学器件中。经视点调节的入射光瞳位置还可以用作眼动跟踪信号的进一步处理的输入。
10、根据本发明的一个方面，在图像生成中利用经视点调节的入射光瞳位置。
11、根据本发明的一个方面，可以利用经视点调节的入射光瞳位置调节在3d呈现中使用的虚拟相机的位置。
12、根据本发明的一个方面，可以利用经视点调节的入射光瞳位置调节与眼动跟踪系统结合使用的可调节光学器件中的至少一个参数。
13、根据本发明的一个方面，可以利用经视点调节的入射光瞳位置作为眼动跟踪信号的进一步处理的输入。
14、根据本发明的一个方面，该方法可以进一步包括使用经视点调节的入射光瞳位置来确定适眼距的步骤，适眼距是角膜最靠近显示器的部分与显示器之间的最短距离。
15、根据本发明的一个方面，可以在眼动跟踪系统中提供优选适眼距，并且该方法可以进一步包括进一步的步骤：-将使用经视点调节的入射光瞳位置确定的适眼距的估计与优选适眼距进行比较；-生成用于相对于显示器调节眼睛以便接近优选适眼距的指令；以及-以视觉引导的形式向用户呈现(815)这些指令。
16、根据本发明的一个方面，可以在眼动跟踪系统中提供优选适眼距，并且该方法可以包括以下另外的步骤：-将使用经视点调节的入射光瞳位置确定的适眼距的估计与优选适眼距进行比较；-生成用于相对于显示器调节眼睛以便接近优选适眼距的指令；以及-自动调节眼睛到显示器的距离。
17、根据本发明的一个方面，提供了一种可以被布置成检测用户的眼睛的运动的眼动跟踪系统。该眼动跟踪系统可以包括被布置成提供眼睛的图像的至少第一相机以及控制和处理单元，其中，控制和处理单元被配置成控制该眼动跟踪系统以执行主要方法以及上述方法的实施例的步骤。
18、根据本发明的一个方面，提供了一种适合于扩展现实(xr)应用的头戴式显示器，该头戴式显示器包括眼动跟踪系统。
19、根据本发明的一个方面，提供了一种非暂时性计算机可读介质，该非暂时性计算机可读介质可以在其上存储有指令，这些指令当由一个或多个控制和处理单元执行时，使该一个或多个控制和处理单元执行确定眼动跟踪系统的用户的眼睛中的入射光瞳位置的方法、执行主要方法以及上述方法的实施例的步骤。
20、根据本发明，可以准确地确定入射光瞳位置。该方法在计算方面有效且速度快。
21、本发明提供的一个优点是，在xr应用中，可以改善所显示的图像的质量，特别是在3d对象的呈现方面。
22、一个另外的优点是，例如在操作头戴式设备时，可利用经视点调节的入射光瞳位置确定适眼距。
23、在下文中，将参考附图关于本发明的非限制性实施例仅通过示例来更详细地描述本发明。
1.一种确定眼动跟踪系统(300)的用户的眼睛(100)的入射光瞳位置的方法，所述眼动跟踪系统至少包括被布置成提供所述眼睛(100)的图像的第一相机(140)，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其中，确定(415；515；615)所述入射光瞳位置的所述第一估计的所述步骤包括通过反向投影所述检测到的图像瞳孔中心来构建从第一相机中心穿过从所述第一相机(140)看到的所述入射光瞳(141)的第一相机光线(141)。
3.根据权利要求2所述的方法，其中，所述眼动跟踪系统(300)进一步包括第二相机(150)，所述方法包括以下步骤：
4.根据权利要求3所述的方法，其中，确定所述入射光瞳位置的第一估计和第二估计的所述步骤(515)包括：
5.根据权利要求1所述的方法，其中，确定所述入射光瞳位置的第一估计的步骤包括：
6.根据权利要求1至5中任一项所述的方法，其中，除了对所述角膜的折射特性的角度依赖性进行建模之外，所述事先确定的入射光瞳位移模型进一步基于以下至少一项或其组合：
7.根据前述权利要求中任一项所述的方法，其中，在图像生成中利用所述经视点调节的入射光瞳位置(163)。
8.根据权利要求7所述的方法，其中，利用所述经视点调节的入射光瞳位置(163)调节在3d呈现中使用的虚拟相机的位置。
9.根据权利要求7或8所述的方法，其中，在扩展现实(xr)应用，比如虚拟或增强现实应用中利用所述经视点调节的入射光瞳位置(163)。
10.根据权利要求1至9中任一项所述的方法，其中，利用所述经视点调节的入射光瞳位置(163)调节与所述眼动跟踪系统(300)结合使用的可调节光学器件中的至少一个参数。
11.根据权利要求1至10中任一项所述的方法，其中，利用所述经视点调节的入射光瞳位置(163)作为对眼动跟踪信号的进一步处理的输入。
12.根据前述权利要求中任一项所述的方法，进一步包括步骤：使用所述经视点调节的入射光瞳位置(163)来确定适眼距，所述适眼距是所述角膜最靠近显示器的部分与所述显示器之间的最短距离。
13.根据权利要求12所述的方法，其中，在所述眼动跟踪系统(300)中已经提供了优选适眼距，并且所述方法包括以下进一步的步骤：
14.根据权利要求12所述的方法，其中，在所述眼动跟踪系统(300)中已经提供了优选适眼距，并且所述方法包括以下进一步的步骤：
15.一种被布置成检测用户的眼睛(100)的运动的眼动跟踪系统(300)，所述眼动跟踪系统(300)至少包括第一相机(140)，所述第一相机被布置成将所述眼睛(100)的图像提供至控制和处理单元(303)，其中，所述控制和处理单元(303)被配置成：
16.根据权利要求15所述的眼动跟踪系统(300)，其中，确定(415；515；615)所述入射光瞳位置的所述第一估计包括通过反向投影所述检测到的图像瞳孔中心来构建从第一相机中心穿过从所述第一相机(140)看到的所述入射光瞳(141)的第一相机光线(141)。
17.根据权利要求16所述的眼动跟踪系统(300)，其中，所述眼动跟踪系统(300)进一步包括第二相机(150)，并且其中，所述控制和处理单元(303)进一步被配置成：
18.根据权利要求16所述的眼动跟踪系统(300)，其中，在确定所述入射光瞳位置的第一估计和第二估计的所述步骤(515)中，所述控制和处理单元(303)进一步被配置成：
19.根据权利要求16所述的眼动跟踪系统(300)，其中，在确定所述入射光瞳位置的第一估计的所述步骤中，所述控制和处理单元(303)进一步被配置成：
20.根据权利要求15至19中任一项所述的眼动跟踪系统(300)，其中，所述控制和处理单元(303)进一步被配置成使用所述经视点调节的入射光瞳位置(163)来确定适眼距，所述适眼距是所述角膜最靠近显示器的部分与所述显示器之间的最短距离。
21.一种适合于扩展现实(xr)应用的头戴式显示器，所述头戴式显示器包括根据权利要求16至20中任一项所述的眼动跟踪系统(300)。
22.一种非暂时性计算机可读介质，在其上存储有指令，所述指令当由一个或多个控制和处理单元(303)执行时，使所述一个或多个控制和处理单元(303)执行确定眼动跟踪系统(300)的用户的眼睛(100)的入射光瞳位置的方法，所述眼动跟踪系统至少包括被布置成提供所述眼睛(100)的图像的第一相机(140)，所述方法包括以下步骤：
