使用线性反函数的飞行时间测量的制作方法

使用线性反函数的飞行时间测量


背景技术：

1.飞行时间深度传感器可以利用相位偏移方法来测量距离。在这样的示例中，朝向目标物体发射周期性调制的激光束，在图像传感器处接收反射光，并且对于图像传感器的每个像素，将接收到的光的相位与发射的光的相位进行比较。然后可以基于相位偏移来确定从飞行时间传感器的每个像素到目标物体的深度(距离)。


技术实现要素：

2.本发明内容被提供来以简化的形式介绍在下面的详细描述中进一步描述的概念的选择。本发明内容不旨在标识要求保护的主题的关键特征或必要特征，也不旨在被用来限制要求保护的主题的范围。此外，要求保护的主题不限于解决在本公开的任何部分中指出的任何缺点或所有缺点的实现。
3.公开了涉及减轻温度对飞行时间深度感测系统的组件的影响的示例。一个示例提供了一种飞行时间深度成像系统，其包括经调制的飞行时间图像传感器、光源和被配置为感测光源和/或图像传感器的温度的一个或多个温度传感器。该示例还包括处理器和存储设备，该存储设备包括指令，该指令由处理器可执行以：调制从光源发射的光以利用经调制的光照射环境，并且对于一个或多个调制频率中的每个调制频率，在多个相位步长中的每个相位步长处对图像进行积分，并且经由一个或多个温度传感器感测光源和/或图像传感器的温度以获取测量到的温度。指令还可执行以：针对图像传感器的一个或多个像素中的每个像素，使用针对每个调制频率的线性反函数，基于测量到的温度来确定复相量，基于复相量来确定从光源发射的光与来自光源的、被环境反射回来的光之间的相位偏移，以及基于相位偏移来输出针对像素的深度值。
附图说明
4.图1示出了示例飞行时间深度成像系统的框图。
5.图2示出了示例argand图，其表示由具有没有温度依赖性的光源的飞行时间深度相机捕获的样本的相位和幅度。
6.图3示出了示例argand图，其表示由具有展现温度依赖性的光源的飞行时间深度捕获的样本的相位和幅度。
7.图4示出了针对九个示例相位样本的相位偏移作为光源温度的函数的曲线图。
8.图5示出了针对九个示例相位样本的幅度作为光源温度的函数的曲线图。
9.图6示出了拟合到数据的一系列多项式曲线，该数据表示针对在深度传感器群上的选定相位样本的作为光源温度的函数的相位误差。
10.图7示出了当使用具有单个温度点校准的线性逆(inverse)方法确定深度时针对在深度传感器群上的选定相位样本的残余相位误差与温度的关系。
11.图8示出了当使用具有双点温度校准的线性逆方法确定深度时针对在深度传感器群上的选定相位样本的残余相位误差与温度的关系。
12.图9示出了使用线性逆方法和双点温度校准将深度准确度描绘为环境温度的函数的曲线图。
13.图10示出了描绘飞行时间深度感测系统内的数据流的框图。
14.图11示出了操作飞行时间系统的示例方法。
15.图12示出了示例计算系统的框图。
具体实施方式
16.幅度调制连续波(amcw)飞行时间(tof)深度感测系统通过用经调制的光照射场景并且测量光行进到场景中的物体并且返回传感器所花费的时间来工作。该传感器通过将反向散射光与参考调制信号相关联来工作，从而使得能够测量调制波形中引发的相位偏移并且推断光行进所花费的时间，从而计算出到物体的距离。由于相位缠绕导致测量到的距离存在模糊性，因此通常使用多个调制频率来增加最大无模糊范围。文献中有对此类系统的详细描述。
17.amcw tof感测系统可以在高峰值激光功率下操作以克服一些环境中的背景环境光量，诸如室外空间或具有明亮照明的室内空间。为了进一步减少来自背景光的噪声，可能期望在短时间段内发射图像帧的总激光能量以限制被积分的环境光量。使用高功率激光光源有助于缩短积分时间。然而，由这种高功率光源发射的光的相位和幅度可能对光源温度是敏感的。在基于相位测量的离散傅立叶变换(dft)箱来计算相位的飞行时间感测系统中，这可能会导致感测深度值中的厘米级的误差。例如，当激光光源在一系列相位步长(phase step)期间在一帧内升温时，第一相位步长的电光属性，诸如峰值光功率输出、阈值电流和均值相位，可能与第二或第三相位步长的不同。环境温度可能会进一步影响这种电光属性。被用来对反射光进行积分的图像传感器也可能具有空间温度依赖性，其作为图像传感器上的像素位置的函数而变化，这进一步使准确的深度测量复杂化。
18.可以使用各种方法来减轻由这种温度敏感性引起的误差。一种可能的解决方案是在深度感测期间将光源维持在基本恒定的温度。然而，对于许多实际系统而言，用于维持温度的硬件可能过于庞大和/或昂贵。作为另一种可能的解决方案，飞行时间深度感测系统可以在转换为深度值之后使用逐像素线性校正。然而，这样的方法可能会在相位展开之后的深度图像数据处理流水线中晚期被应用，从而导致性能降级。此外，这种逐像素线性校正可能无法解决图像传感器的空间温度依赖性。
19.因此，公开了涉及在飞行时间成像系统中校准光源和图像传感器的这种温度依赖性以用于准确深度感测的示例。简而言之，所公开的示例不是使用基于傅立叶变换的方法来处理深度数据，而是使用线性逆方法来确定在每个光源调制频率处获取的每个样本的复相量(complex phasor)。如下文更详细地解释的，与基于傅立叶变换的方法相比，使用所公开的示例线性逆方法，相位和幅度可以是任意的。取决于所使用的校准温度，所公开的示例可以帮助在很宽的温度范围(例如，从10
°
到80
°
摄氏度)上实现毫米级准确度。
20.图1示出了被配置为对目标12进行成像的示例飞行时间深度感测系统10。深度相机10包括调制光源14、成像阵列16和控制器18。深度相机还可以包括各种其他组件，诸如成像透镜20和/或波长滤波器，其可以设置在阵列前面。
21.调制光源14被配置为利用正弦、矩形或任何其他形状的幅度调制光来辐照目标
12。调制光源可以包括一个或多个合适的激光光源，诸如led、vcsel或边缘发射激光器。
22.成像阵列16包括深度感测像素阵列。成像阵列被配置为接收从目标12反射回来的脉冲或调制探测光。阵列的每个像素被配置为呈现输出信号，该输出信号取决于从深度相机至成像到该像素上的目标12的核心的距离。
23.继续图1，控制器18包括逻辑子系统62和存储子系统64。控制器18包括用于向光源14和调制成像阵列16提供调制驱动信号以同步这些组件的操作的逻辑。成像阵列16通过将入射光与参考波形(其可以针对每次测量而变化)相关联，并且将相关值存储在每个像素内来工作。为特定照射和传感器调制波形组合所存储的值可以被称为积分。控制器还被配置为从成像阵列的每个像素读取输出信号以使得能够计算目标12的深度图。在一些实施例中，重复的深度成像可以被用来组装时间分辨系列的深度图(深度视频)。
24.如上面所提及，从相机的光源发射的光的功率由周期性波形来调制。光源可以每个深度图像帧以多个频率来调制，并且可以针对每个调制频率以多个相位步长来确定深度值。图2示出了示例argand图200，其表示由具有没有温度依赖性的光源的飞行时间深度相机捕获的样本的相位和幅度。在此示例中，三个相位样本以相同的内在相关波形形状进行采样，但是通过改变光源调制波形与传感器参考波形之间的相位关系而偏移了120度。从相关波形的基频的角度来看，每个相位样本可以被认为是真实信号204投影在采样向量206上的投影202，采样向量206表示相位样本的有效相位和幅度。如上面所提及，现有方法通过计算与三个相位样本的基频相对应的离散傅立叶变换(dft)箱来计算每个频率的相位，如以下等式所表示：
[0025][0026]
其中是复数深度测量，并且是相位步长。复数深度测量对从场景反向散射并由传感器在模量中测量到的调制照射的幅度进行编码，并且在复数参数中对飞行时间引发的相位偏移进行编码。针对每个频率的相位偏移可以被校准，以便能够计算深度，而不会由于照射和传感器的光电属性而引起未知的相位偏移。
[0027]
在图2的示例中，假设每个向量等距，在0度、120度和240度处，表示发射光的相位角，并且每个向量等长，表示针对该特定相位样本所发射的光的量。然而，实际上，由于前面提及的激光光源的温度依赖性，向量实际上可能会在角度上偏移并且在长度上变化，因为发射光的相位角和幅度是温度的函数。图3示出了示例argand图300，其表示由具有温度依赖性的光源的飞行时间深度相机捕获的样本的相位和幅度，并且描绘了表示受温度变化影响的三相样本的相位和幅度的示例向量。成像传感器也存在温度依赖性，但是它通常受光源支配。
[0028]
术语“有效相位”和“有效幅度”可以被用来指代光源的相位和幅度，因为其将在每个个体相位步长的理想条件下由传感器本身测量。在一些实施例中，每个相位步长的有效相位和幅度通过执行相位扫描来确定，其中传感器参考和照射调制波形的相位关系每帧推进。一旦已经收集到超过至少360度相位步长推进的足够样本，就可以对收集的帧上的每个积分执行dft，并且可以确定每个个体相位步长的有效相位和幅度。相比之下，标准方法对帧内的相同频率的不同相位步长执行dft，而不是对多个帧上的每个积分(对应于特定相位步长)执行dft。所公开的相位扫描方法允许测量作为相位步长阶函数的相位和幅度行为的
变化，这可能无法通过标准方法实现。
[0029]
作为温度函数的有效相位和幅度的变化可能导致相关波形的负基频混叠到基频上，从而导致两循环线性度误差。现有的解决方案可以将每个复数深度测量的有效相位和/或幅度作为一个整体进行建模，并且校正任何固定的相位偏移或比例，但不会对个体相位步长及其对范围线性度的结果影响进行建模。
[0030]
因此，不是计算dft箱，本文所公开的示例基于估计的相位和幅度值使用线性反函数来计算复相量。所公开的示例在校正由温度变化引起的误差的同时允许相位和幅度任意变化。
[0031]
为了将本文所公开的复相量方法应用于实时飞行时间深度测量，可以例如使用从光源群中获得的数据在运行时之前对作为温度函数的光源的相位和幅度进行建模。下面更详细地描述示例建模过程。然后可以在运行时应用所得温度模型以帮助计算每个相位步长的复相量，从而校正光源温度对深度测量的影响。
[0032]
图4示出了针对示例光源的九个示例样本的、作为温度的函数的每个样本的相位偏移的曲线图400，其中样本1、2和3对应于第一调制频率下的相位样本，样本4、5和6对应于第二调制频率下的相位样本，并且样本7、8和9对应于第三调制频率下的相位样本。图5示出了针对相同样本1
‑
9的幅度对温度的曲线图500。如可以看出的那样，对于不同的调制频率，相位和幅度各自作为光源温度的函数而变化。此外，调制频率内的每个相位样本也基于光源温度而变化。因此，对每个相位样本和/或每个频率应用相同校准的温度校准方法可能会遇到线性度或相位展开误差。对照而言，本文所公开的线性逆示例可以避免这样的误差。
[0033]
图4和图5的曲线各自可以通过多项式例如三次多项式或其他合适的函数来建模，以形成预定的温度校准模型。为了确定温度校准模型，可以使用每次积分的相位扫描在光源的样本群上收集针对每个相位样本和每个调制频率的温度依赖性数据，并且可以将针对每个频率处的每个相位样本的每个温度依赖性曲线拟合到多项式函数或其他合适的函数。图6示出了描绘在给定已知目标距离的情况下在选定调制频率下针对第一相位样本的在光源群上的相位误差与温度数据拟合的多个多项式函数的曲线图。可以获得类似的数据并拟合其他相位样本和其他调制频率。如从该图中可以看出的，在整个群体上的样本之间的相位误差和变化随着温度的升高而增加。根据这样的数据，可以从多个拟合多项式函数生成均值群体温度模型(先前参考的预定温度校准模型)，以校准深度相机并且在根据图像传感器计算深度时校正光源的温度依赖性数据。
[0034]
图7示出了对于选定调制频率下的第一相位步长、使用具有线性逆相位和幅度计算的单点温度校准的跨图6的深度传感器的示例群体上的残余相位误差与光源温度的关系。在这里示出的示例在大约30℃下进行校准。如可以看出的，相位误差与图6的相位误差相比要小得多。然而，与较低的温度相比，较高的温度导致稍高的方差。此外，如上面所提及，所绘制的图6的多项式函数随温度升高而发散。以这样，当使用单点校准时，均值温度模型因此可能无法在整个工作温度范围内将深度传感器群准确地拟合到某些应用所期望的程度。
[0035]
因此，在一些示例中，可以使用双点温度校准和已知群体变化在每单位的基础上调整均值温度模型。在这样的示例中，代替在固定温度下使用通用群体校准，拟合的多项式函数可以进一步受到第二校准温度的约束。为此，可以使用在第二校准温度下进行的测量
来扭曲多项式函数(或其他合适的函数)，以匹配在两个温度下的测量。作为一个示例，根据主成分分析所确定的校正基向量可以被应用于多项式系数以考虑到针对群体的多项式或其他函数的变化。图8示出了在深度传感器的示例群体上应用示例双点温度校准之后的残余相位误差与温度的关系。被用于这些示例的第二校准温度大约为60℃。如可以看出的，双点温度校准的误差在相对较宽的温度范围内可以在毫米以内。
[0036]
在对光源群的相位和幅度的温度依赖性进行建模之后，可以在运行时期间使用线性逆方法来应用该模型。在这种方案中适用于相位和幅度两者的一个示例参数化如下。
[0037][0038]
该函数假定深度感测系统中有两个温度传感器，一个被配置为感测光源的温度(t
laser
)，而一个被配置为感测图像传感器的温度(t
sensor
)。在其他示例中，可以省略用于图像传感器温度的术语。此外，在一些示例中，可以在深度数据处理流水线中应用附加的空间校正以考虑到传感器温度对复相量计算的影响，如下所述。在深度感测系统包括多于一个光源温度传感器的示例中，上述参数化还可以包括用于多个光源温度中的每一个的单独系数。尽管上述示例等式(2)是多项式函数，但是应当理解，可以使用任何其他合适的函数。
[0039]
可以以任何频率读取温度传感器，例如对于每个积分/相位步长，或每个调制频率一次或每帧一次或以任何其他速率读取。在一些情况下，它可能在操作期间只能读取一次。
[0040]
继续，对于每个频率，可以经由线性反函数来计算复相量c。使用moore
‑
penrose伪反函数的一个示例计算如下。
[0041]
c＝[1，i]r(h
t
h)
‑1h
t
ꢀꢀꢀꢀ
(3)
[0042]
其中，
[0043]
并且其中，α
k
＝f
k，amplitude
(t
laser
，t
sensor
)，(5)
[0044]
θ
k
＝f
k，phase
(t
laser
，t
sensor
)，(6)
[0045]
是原始捕获，并且是对固定空间相位校正进行编码的旋转矩阵。如图所示，复相量计算可以包括针对该频率的所有相位步长(在本示例中为三个)。
[0046]
在一些实施例中，针对每个积分的传感器参考和照射调制波形之间的相位关系逐帧变化。在这种情况下，将对应的偏移应用于针对每个相位步长的相位模型以校正变化。这允许产生校正的距离测量，尽管相位关系发生变化。在一些实施例中，系统可以连续地执行相位扫描，其中每个积分的相位关系每帧推进；结果，可以减少由于相关波形谐波混叠引起的系统偏差。在一些实施例中，这与时间平均技术相结合。
[0047]
此外，在一些实施例中，针对每个频率的相位步长围绕360度不是等距间隔的(与使用等距相位步长的标准方法相反)。在一些实施例中，这与时间平均相结合，以便减少任何相关波形谐波混叠对范围线性度的负面影响。
[0048]
在一些实施例中，一个或多个相机具有在多个温度下执行的相位扫描，以便确定每个积分或相位步长的有效相位和幅度，收集针对每个相机的类似于或等同于图4和图5的数据，提供相机温度数据的语料库。在一些实施例中，通过将多项式曲线拟合到组合的相位和幅度数据来创建语料库温度模型。在不同的实施例中，多项式曲线被拟合到每个相机的
每次积分的相位/幅度对温度数据。
[0049]
此外，在一些实施例中，通过在已知或受控温度下使用已知属性的目标(诸如平坦壁)执行所有调制频率的相位扫描，来执行针对特定相机的单点温度校准。另一种潜在的目标配置是在已知距离处的后向反射器或反射镜，在成像镜头上方有漫射器，以模拟在恒定径向距离处对物体进行成像。针对有效相位的语料库温度模型通过应用偏移或数学变换来调整，以使得针对每个积分的模型与已知或测量的校准温度下的真实值相交。在多项式模型的情况下，一些实施例可以包括：调整多项式的常数项以使得该条件成立。然后在相机的操作期间使用该调整后的模型以便计算每个积分/相位步长的有效相位。对针对有效幅度的语料库温度模型执行相同或相似的变换，以使得在校准温度下测量的有效幅度与针对每次积分的调整模型相交。在多项式模型的情况下，一些实施例可以包括缩放多项式以使得它在校准温度处相交。
[0050]
在一些实施例中，在不同温度下执行附加的校准。调整后的针对有效相位和幅度的语料库温度模型以这样的方式进行数学变换，以使得调整后的模型与有效相位和幅度的所有测量相交。在使用两个温度校准的一些实施例中，这通过向模型添加线性校正因子以使得调整后的模型与第一和第二有效相位和幅度测量相交来达成。在其他实施例中，这通过在多项式模型的系数上创建正交基向量并且对调整后的语料库温度模型执行加权加法以使得调整后的模型与有效相位和幅度的所有测量相交来实现。
[0051]
在一些实施例中，通过针对每个相机的每个积分来变换拟合到语料库中的语料库温度数据的多项式模型，以使得针对语料库中的每个相机的每个积分的有效相位在要校准的特定相机的校准温度处与零相交，来生成针对有效相位的正交基向量。在一些实施例中，这通过向拟合的多项式模型添加恒定偏移来达成。假设校准温度有效相位固定为零，则执行主成分分析以便为每个积分的有效相位生成语料库中的变化的第一主成分。当在第二温度下执行附加的温度校准时，对应于第一主成分的基向量被用来通过加权加法来校正调整后的有效相位模型，以使得调整后的模型与第一测量和第二测量相交。在另一个实施例中，执行第三温度校准步骤并且使用对应于第二主成分的基向量来调整有效相位模型，以使得它与有效相位的所有温度校准测量相交。在另一实施例中，这被扩展到任意数量的温度测量。
[0052]
此外，在一些实施例中，对于要使用相位扫描进行校准的每个相机，在不同温度下执行多次校准。模型直接被拟合至在温度上测量到的有效幅度和相位。这在运行时期间被使用，以便执行温度校正。在一些实施例中，对于每个积分的相位和幅度，这可以是在测量到的激光温度上的线性拟合。在另一实施例中，拟合操作可以使用相机温度数据的语料库的统计作为统计先验并且解决最大后验估计问题，以便确定在运行时应用的最优模型。在一些实施例中，该统计先验可以是描述多项式的系数的多元高斯分布，该多项式的系数拟合到相机温度数据的语料库上的每个积分的有效相位和有效幅度。在一些实施例中，相同(或相似)的方法被应用于有效幅度。
[0053]
在一些实施例中，拟合模型可能没有与测量到的有效相位和幅度确切地相交。
[0054]
此外，在一些实施例中，针对每个像素的固定空间相位校正是根据已知目标来计算的，并且被用来计算在校准之后的运行时所应用的相位校正(在上面的等式(3)中被称为r)。
[0055]
应当理解，在本公开的范围内可能存在其他数学上相似或等效的方法，包括其中存储校准温度并且使用语料库温度模型来相对于校准时的有效相位和幅度估计有效相位和幅度的变化，而无需为每个相机创建修改后的温度校准模型。在其他实施例中，使用语料库温度模型来调整空间相位校准，以使得它被表示为好像它处于指定温度，例如零摄氏度。
[0056]
图9示出了在应用利用图8中所图示的双点温度校准的线性逆方法之后的飞行时间深度感测系统的示例真实世界性能。如图所示，在一定温度范围内可以实现大约
±
2毫米范围内的误差。
[0057]
如上面所提及，图像传感器性能也可能展现出一些温度依赖性。即使对于保持恒定温度处的理想光源，传感器温度的变化也可能导致空间传感器性能变化，从而影响复相量测量。例如，在每个相位步长，可以通过使用图像传感器中的延迟锁定环(dll)来调制图像传感器从而对图像进行积分，这故意在图像传感器的像素上水平引入相位延迟。图像传感器中的每个像素都有一个相位可能变化的采样相量。因此，图像传感器中的空间变化可能是由于dll而水平地(相对于传感器中的像素从左到右)以及由于(多个)像素时钟驱动器结合传输线影响成像阵列中的时钟线而垂直地(从上到下)从像素到像素延迟的传感器信号的函数。这些属性可能会随着温度的改变而变化，从而导致深度测量误差。
[0058]
因此，除了基于光源温度的温度校正之外，还可以应用基于传感器温度的空间温度校正。在一些示例中，可以将水平校正向量应用于图像传感器中的每行像素，并且可以将垂直校正向量应用于每列像素。可以基于与作为温度函数的传感器上的相位误差相关联的群体数据来确定水平校正向量和垂直校正向量。例如，可以如下计算向量。
[0059]
水平校正向量＝(t
sensor
‑
t
calibration
)h
c
[0060]
垂直校正向量＝(t
sensor
‑
t
calibration
)v
c
其中被用于水平校正向量的基向量h
c
是列数的线性函数，并且被用于垂直校正向量的基向量v
c
是行数的四次函数。所公开的示例不限于可以被建模为多项式的基向量；在一些实施例中，明确地存储整个基向量或者使用不同类型的模型。
[0061]
在一些实施例中，通过对一个或多个相机在两个不同温度下的有效相位进行测量，执行一个温度下的有效相位与另一温度下的有效相位相减并且对所有相机求平均，来生成空间温度基向量。通过将有效相位差除以两个温度之间的差，来确定每摄氏度的空间校正因子。在其他实施例中，使用更多温度。在一些实施例中，通过在水平和垂直方向上对原始有效相位空间校正因子每摄氏度值的加权最小二乘线性拟合来确定水平校正向量h
c
和垂直校正向量v
c
，其中权重是测量到的信号的均值复模量。在其他实施例中，可以使用本领域技术人员已知的任何方法来将校正向量拟合到可用数据。
[0062]
图10示出了可以实现上述示例温度校正的飞行时间深度相机内的示例深度引擎1000的框图。如上所述，原始数据1002以及激光和传感器温度1004作为输入被提供给温度校正去投影块1006，其使用基于线性逆的方法来确定复相量同时补偿光源温度依赖性(和潜在的图像传感器温度依赖性)。继续，在块1008处，根据复相量来确定相位和有效亮度(ab)(例如幅度)。接下来，如上所述，可以在1010处利用来自块1012处的图像传感器温度传感器的输入来执行对图像传感器的温度依赖性的空间校正。
[0063]
接下来，相位展开块1014进行所确定的相位测量并且执行相位展开，这有助于在每个调制频率处使用多个相位样本以在可能距离之间消除歧义。在相位展开之前执行空间
校正可以有助于防止在相位展开阶段可能引入的去混叠误差或线性度误差，但是在一些示例中，空间校正可以在相位展开之后发生。在1018处，相位和幅度测量然后可以被转换成深度、xyz测量和/或反射率，其然后可以在1020处从深度引擎输出。可选地，可以在流水线的任何阶段处应用滤波器，其可以包括处理过滤器、图像过滤器、盒式过滤器和/或其他合适的过滤器。可以提供这些输出的子集或附加的输出，诸如由传感器测量到的个体调制频率的幅度之和。
[0064]
图11示出了对飞行时间深度测量进行校正的示例方法1100。方法1100包括，在1102处，调制从光源发射的光以利用经调制的光照射环境。方法1100还包括，在1104处，对于一个或多个调制频率中的每个调制频率，在多个相位步长中的每个相位步长处对图像进行积分，并且在1105处，经由一个或多个温度传感器感测光源和/或图像传感器的温度，以获取测量到的温度。
[0065]
对于在每个相位步长处积分的每个图像，在1106处，并且对于图像传感器的一个或多个像素的每个像素，在1110处，方法1100包括，在1112处，使用线性反函数基于光源和/或图像传感器的温度来确定复相量。在1114处，可以基于将光源相位和幅度与光源的温度相关联的预定温度校准模型来确定复相量。预定温度校准模型可以基于针对在工厂校准/制造期间所确定的设备群的作为光源温度的函数的相位和幅度行为。在一些示例中，预定温度校准模型可以基于在两个或更多不同温度点处的校准，而在其他示例中，校准模型可以基于单个校准温度点。接下来，对于每个像素，在1116处基于复相量来确定从光源发射的光与来自光源的、被环境反射回来的光之间的相位偏移。如上所述，使用线性反函数基于复相量确定相位偏移可以允许使用任意相位步长和频率。在一些示例中，不等距的相位步长可以被故意使用并且随时间改变以帮助改善准确度。
[0066]
方法1100还包括，在1118处，校正所确定的相位偏移以考虑到图像传感器的空间依赖误差。这可以例如通过在1120处将水平校正向量应用于图像传感器的一行或多行像素并且将垂直校正向量应用于图像传感器的一列或多列像素来完成。然后，方法1100包括，在1122处，输出针对每个像素的深度值。因此，所得的深度值考虑了光源和图像传感器的温度依赖性，与使用每像素线性校正来确定深度值的方法相比，这可能是更准确的。
[0067]
图12示意性地示出了可以执行上述方法和过程中的一个或多个的计算系统1200的非限制性实施例。计算系统1200以简化的形式被示出。计算系统1200可以采取一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备的形式。例如，计算系统1200可以表示深度相机10。
[0068]
计算系统1200包括逻辑子系统1202和存储子系统1204。计算系统1200可以可选地包括显示子系统1206、输入子系统1208、通信子系统1210和/或图12中未示出的其他组件。
[0069]
逻辑子系统1202包括被配置为执行指令的一个或多个物理设备。例如，逻辑机可以被配置为执行指令，指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分。此类指令可以被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果或以其他方式达到期望的结果。
[0070]
逻辑子系统1202可以包括被配置为执行软件指令的一个或多个处理器。附加地或备选地，逻辑子系统1202可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件
逻辑机。逻辑子系统1202的处理器可以是单核或多核，并且在其上执行的指令可以被配置用于顺序处理、并行处理和/或分布式处理。逻辑子系统1202的各个组件可选地可以分布在两个或更多单独的设备之中，这些设备可以远程定位和/或被配置用于协调处理。逻辑子系统1202的各方面可以由配置在云计算配置中的可远程访问的联网计算设备来虚拟化和执行。
[0071]
存储子系统1204包括一个或多个物理设备，其被配置为保存由逻辑子系统1202可执行的指令以实现本文所描述的方法和过程。当这样的方法和过程被实现时，存储机器？？的状态可以被转换——例如，保存不同的数据。
[0072]
存储子系统1204可以包括可移除和/或内置设备。存储子系统1204可以包括光学存储器(例如，cd、dvd、hd
‑
dvd、蓝光光盘等)、半导体存储器(例如，ram、eprom、eeprom等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、mram等)等等。存储子系统1204可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
[0073]
应当了解，存储子系统1204包括一个或多个物理设备。然而，本文所描述的指令的各方面备选地可以由物理设备在有限持续时间内未保持的通信介质(例如，电磁信号、光信号等)传播。
[0074]
逻辑子系统1202和存储子系统1204的各方面可以一起集成到一个或多个硬件逻辑组件中。此类硬件逻辑组件可以包括现场可编程门阵列(fpga)、程序和应用专用集成电路(pasic/asic)、程序和应用专用标准产品(pssp/assp)、片上系统(soc)和复杂可编程逻辑器件(cpld)。
[0075]
术语“引擎”可以被用来描述被实现以执行特定功能的计算系统1200的一个方面。在一些情况下，引擎可以经由逻辑子系统1202执行由存储子系统1204所持有的指令来实例化。应当理解，不同的引擎可以从相同的应用、服务、代码块、对象、库、例程、api、函数等等来实例化。同样，相同的模块、程序和/或引擎可以由不同的应用、服务、代码块、对象、例程、api、函数等等来实例化。术语“引擎”可以涵盖单个或一组可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
[0076]
当被包括时，显示子系统1206可以被用来呈现存储子系统1204所保持的数据的视觉表示。该视觉表示可以采取图形用户界面(gui)的形式。由于本文所描述的方法和过程改变了存储机器所保存的数据，从而转换了存储机器的状态，因此显示子系统1206的状态同样可以被转换以在视觉上表示底层数据的变化。显示子系统1206可以包括利用几乎任何类型的技术的一个或多个显示设备。这样的显示设备可以在共享外壳中与逻辑子系统1202和/或存储子系统1204组合，或者这样的显示设备可以是外围显示设备。
[0077]
当被包括时，输入子系统1208可以包括一个或多个用户输入设备或与一个或多个用户输入设备进行接口，诸如键盘、鼠标、触摸屏或游戏控制器。在一些实施例中，输入子系统可以包括选定的自然用户输入(nui)组件或与选定的自然用户输入(nui)组件进行接口。这样的组件可以是集成的或外围的，并且输入动作的转变和/或处理可以在机上或机外处理。nui组件的示例可以包括用于语音和/或话音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部追踪器、眼部追踪器、加速度计和/或陀螺仪；以及用于评估大脑活动的电场感测组件。
[0078]
当被包括时，通信子系统1210可以被配置为将计算系统1200与一个或多个其他计算设备通信耦合。通信子系统1210可以包括与一种或多种不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络或者有线或无线局域网或广域网进行通信。在一些实施例中，通信子系统可以允许计算系统1200经由诸如互联网之类的网络向和/或从其他设备发送和/或接收消息。
[0079]
另一示例提供了一种飞行时间深度成像系统，其包括经调制的飞行时间图像传感器、光源、被配置为感测光源和/或图像传感器的温度的一个或多个温度传感器、处理器、以及包括指令的存储设备，该指令由处理器可执行以：调制从光源发射的光以利用经调制的光照射环境，对于一个或多个调制频率中的每个调制频率，在多个相位步长的每个相位步长处对图像进行积分，经由一个或多个温度传感器感测光源和/或图像传感器的温度以获取测量到的温度，并且针对图像传感器的一个或多个像素的每个像素，使用针对每个调制频率的线性反函数，基于测量到的温度来确定复相量，基于复相量来确定从光源发射的光与来自光源的、被环境反射回来的光之间的相位偏移，并且基于相位偏移来输出针对像素的深度值。可以附加地或备选地基于预定温度校准模型来确定复相量，该预定温度校准模型将图像传感器针对每个个体相位步长所感测的有效光源相位和幅度与光源和/或图像传感器所感测的温度相关联。可以附加地或备选地基于在两个或更多温度下的校准来确定用于个体相机的预定温度校准模型。可以附加地或备选地基于飞行时间深度成像设备群的主成分分析来确定预定温度校准模型。针对每个相位步长的有效相位的预定温度校准模型和针对每个相位步长的有效幅度的预定温度校准模型可以附加地或备选地是多项式。使用相位扫描基于每个个体相位步长的有效相位和/或有效幅度的测量，可以针对每个设备附加地或备选地调整预定温度模型。相位步长之间的间距可以附加地或备选地在360度上是不均匀的。附加地或备选地，针对每个积分的传感器参考波形与照射调制波形之间的相位关系可以在时间上相邻的帧之间改变。指令可以附加地或备选地还执行以：针对每个频率执行空间温度校正。在温度传感器是第一温度传感器的情况下，飞行时间深度成像系统可以附加地或备选地包括被配置为感测图像传感器的温度的第二温度传感器，并且其中指令还可执行以：通过将水平校正向量应用于图像传感器的一行或多行像素并且将垂直校正向量应用于图像传感器的一列或多列像素，校正所确定的相位偏移以考虑到传感器的空间依赖误差，水平校正向量和垂直校正向量基于图像传感器的温度。
[0080]
在包括图像传感器、光源和被配置为感测光源和/或图像传感器的温度的温度传感器的飞行时间深度成像系统上，另一示例提供了一种方法，该方法包括：调制从光源发射的光以利用经调制的光照射环境，对于一个或多个调制频率中的每个调制频率，在多个相位步长中的每个相位步长处对图像进行积分，并且对于在每个相位步长处积分的每个图像，经由温度传感器来感测光源和/或图像传感器的温度，并且针对图像传感器的一个或多个像素中的每个像素，使用针对每个调制频率的线性反函数，基于感测到的温度来确定复相量，基于复相量来确定从光源发射的光与来自光源的、被环境反射回来的光之间的相位偏移，以及输出针对像素的深度值。确定复相量可以附加地或备选地包括：基于预定温度校准模型来确定复相量，该预定温度校准模型将光源有效相位和幅度与光源的温度相关联。可以附加地或备选地基于在两个或更多温度下的校准来确定预定温度校准模型。预定温度校准模型可以附加地或备选地是多项式。附加地或备选地，针对每个积分的传感器参考波
形与照射调制波形之间的相位关系可以在时间上相邻的帧之间改变。该方法可以附加地或备选地包括：针对每个相位步长处积分的每个图像，校正所确定的相位偏移，以考虑到图像传感器的空间依赖误差。
[0081]
另一示例提供了一种飞行时间深度成像系统，该系统包括经调制的飞行时间图像传感器、光源、被配置为感测光源温度的第一温度传感器、被配置为感测图像传感器温度的第二温度传感器、处理器和存储设备，该存储设备包括指令，该指令由处理器可执行以：调制从光源发射的光以利用经调制的光照射环境，对于一个或多个调制频率中的每个调制频率，在多个相位步长中的每个相位步长处对图像进行积分，对于在每个相位步长处积分的每个图像，经由第一温度传感器感测光源的温度，经由第二温度传感器感测图像传感器的温度，针对图像传感器的一个或多个像素中的每个像素，使用线性反函数基于光源的温度来确定复相量，并且基于复相量来确定从光源发射的光与来自光源的、被环境反射回来的光之间的相位偏移，通过将水平校正向量应用于图像传感器的一行或多行像素并且将垂直校正向量应用于图像传感器的一列或多列像素，来校正所确定的相位偏移以考虑到图像传感器的空间依赖误差，该水平校正向量和该垂直校正向量基于图像传感器的温度，以及输出针对每个像素的深度值。水平校正向量和垂直校正向量各自可以附加地或备选地基于作为图像传感器的温度的函数的相位误差。水平校正向量可以附加地或备选地包括列数的线性函数，其被应用于图像传感器中的每行像素。垂直校正向量可以附加地或备选地包括四次函数，其是被应用于图像传感器中的每列像素的行数的函数。
[0082]
应当理解，本文描述的配置和/或方法本质上是示例性的，并且这些具体实施例或示例不应被视为限制性的，因为许多变化是可能的。本文所描述的特定例程或方法可以表示任何数量的处理策略中的一种或多种。如此，所图示和/或描述的各种动作可以按照所图示和/或描述的顺序来执行、以其他顺序来执行、并行执行或被省略。同样，上述过程的顺序可以改变。
[0083]
本公开的主题包括本文所公开的各种过程、系统和配置以及其他特征、功能、作用和/或属性的所有新颖和非显而易见的组合和子组合，以及任何及其所有等价物。