背景技术：
1、本公开涉及全光相机。全光相机类似于具有透镜系统和光传感器的普通相机，其中在微图像传感器上添加了微透镜阵列。每个微透镜在传感器上产生微图像。所得全光图像可称为4d光场，该4d光场给出关于传感器和光子轨迹的光瞳坐标的指示。对于稍后的显示和处理，可通过被称为投影到2d重新聚焦的图像中的操作来处理4d光场。投影操作允许调整聚焦距离的可能性。
2、在一些全光相机中，光传感器的每个像素由滤色器覆盖，该滤色器主要允许一种颜色的光到达对应像素。在一些此类相机中，滤色器被布置为所谓的拜耳滤色器。常规拜耳滤色器允许由每个对应像素记录一种颜色—红色、绿色或蓝色。当已经使用拜耳滤色器捕获图像时，每个像素仅具有一个相关联的颜色值，其对应于与该像素相关联的滤色器的颜色。根据该图像，可能需要获得其中像素中的每一者具有所有三个颜色值的图像。这可通过处理来完成，以获得每个像素的两个缺失颜色值。此类处理技术被称为去马赛克。去马赛克可以是重要的过程，特别是对于覆盖高度纹理化的区域的图像或图像区域。
3、拜耳滤色器已经与全光相机一起使用。为了处理用此类相机捕获的4d光场图像，可与2d重新聚焦过程同时执行去马赛克。
4、4d光场数据的全光采样。
5、常规全光相机类似于普通的2d相机，其中添加了设置在传感器的前部的微透镜阵列，如图1中示意性示出的。每个微透镜下方的传感器像素记录相应微透镜图像。
6、全光相机记录4d光场数据，该4d光场数据可被转换成各种副产物，诸如具有自由选择的聚焦距离的重新聚焦的图像。
7、光场相机的传感器记录由布置在较大2d图像内的2d小图像的集合构成的图像。阵列中的每个微透镜以及在该透镜下方生成的每个对应的小微透镜图像可通过坐标(i,j)来索引。光场的像素可与四个坐标(x,y,i,j)相关联，其中(x,y)识别像素在完整图像中的位置。由传感器记录的4d光场可由l(x,y,i,j)表示。图2示意性地示出了由传感器记录的图像。每个微透镜产生由圆圈示意性地表示的微图像(小图像的形状取决于通常为圆形的微透镜的形状)。标记了像素坐标(x,y)。p是两个连续微图像之间的距离。p不必须是整数值。微透镜被选择为使得p大于像素大小δ。微透镜图像由它们的坐标(i,j)来参考。每个微透镜图像以(u,v)坐标系对主透镜的光瞳进行采样。一些像素可能不从任何微透镜接收任何光子；那些像素可被忽略。实际上，微透镜间空间可被掩蔽以防止光子从微透镜向外传递(如果微透镜具有正方形形状，则不需要掩蔽)。微透镜图像的中心(i,j)在坐标(xi,j,yi,j)处位于传感器上。θ是像素的正方形点阵与微透镜的正方形点阵之间的角度。在图2中，θ＝0。假设微透镜根据规则的正方形点阵布置，则考虑到(x0,0,y0,0)微透镜图像的像素坐标(0,0)，可通过以下等式来计算(xi,j,yi,j)：
8、
9、图2也示出了来自场景的对象在若干连续微透镜图像上可以是可见的，其中每个图像被示出为黑色正方形点。对象的两个连续视图之间的距离是w。该距离w在本文中被称为复制距离。对象在r个连续微透镜图像上理论上是可见的，其中
10、
11、其中r是一个维度中的连续微透镜图像的数量，并且是下取整函数。对象在r2个微透镜图像中理论上是可见的。根据微透镜图像的形状，对象的r2个视图可能是不可见的。
12、光场相机的光学属性。
13、在前一子章节中引入的距离p和w是以像素大小为单位给出的。通过将它们乘以像素大小δ，它们可被转换成物理单位距离(例如，米)，分别为p和w，使得w＝δw并且p＝δp。这些距离可根据光场相机特性而变化。
14、图3和图4是假定完美薄透镜模型的不同光场相机的示意性侧视图。这些示例中的主透镜具有焦距f和孔径φ。微透镜阵列由具有焦距f的微透镜组成。微透镜阵列的节距为φ。微透镜阵列位于距主透镜距离d处，和距传感器距离d处。对象(图中不可见)位于距主透镜(朝向左)距离z处。该对象由主透镜聚焦在距主透镜(朝向右)距离z′处。图3示出了其中d>z′的情况，并且图4示出了其中d<z′的情况。在这两种情况下，微透镜图像可根据d和f对焦。图3和图4示出了所谓的类型ii全光相机的示例。
15、在称为类型i全光相机的另选光场相机设计中，参数被选择为使得f＝d。这种设计的示例在图5中示出。这种设计使得主透镜聚焦靠近微透镜阵列的图像。如果主透镜精确地聚焦在微透镜阵列上，则w＝∞。微透镜图像也是完全失焦的，并且等于常数(不考虑噪声)。
16、复制距离w随对象的距离z变化。为了建立w与z之间的关系，可参考薄透镜等式
17、
18、以及参考泰勒斯定律
19、
20、结合前面的两个等式，可推导出
21、
22、w与z之间的关系没有假设微透镜图像是对焦的。当满足薄透镜等式时，微透镜图像可以是对焦的，使得
23、
24、也从泰勒斯定律推导出p如下。
25、
26、比例e定义微透镜节距与微透镜图像节距之间的放大。该比例非常接近1，因为d＞＞d。
27、子孔径图像。
28、如上所述的全光相机中的一些具有以下属性：微透镜阵列具有正方形点阵(类似于像素阵列)并且相对于像素没有旋转；并且微透镜图像直径等于像素的整数(或几乎等于像素的整数)。这些属性由大多数可行的全光传感器满足。这些属性允许生成被称为子孔径图像的图像。
29、子孔径图像收集在它们的相应微透镜图像内具有相同相对位置的所有4d光场像素，例如具有相同(u,v)坐标的所有像素。如果微透镜阵列具有以下大小i×j，则每个子孔径图像也具有大小i×j。并且如果存在在每个微透镜下的p×p像素阵列，则存在p×p子孔径图像。如果传感器的像素数量是nx×ny，则每个子孔径图像可具有大小nx/p×ny/p。
30、图6a至图6b示意性地示出了从捕获的光场图像l(x,y,i,j)转换成一系列子孔径图像s(α,β,u,v)。图6a示出了光场图像(在该简化的示例中具有大小24×16像素，尽管现实世界示例通常包括更多的像素)，其中每个像素位置由坐标(x,y)给出。微透镜中的每个微透镜(由圆圈示意性地示出)与4×4微图像相关联，其中微图像中的位置由坐标(u,v)给出。微图像以6×4阵列布置，其中每个微图像由坐标(i,j)索引。如图6a所示，对象(由实心圆点表示)被成像在微图像中的九个中。
31、图6b示出了从图6a的光场生成的十六个，即4×4子孔径图像。每个子孔径图像具有大小i×j像素(在该简化的示例中为6×4，对应于微图像的数量)。每个子孔径图像内的位置由坐标(α,β)指示，其中0≤α<i并且0≤β<j。可通过光瞳坐标(u,v)来识别每个2d子孔径图像，并且其可由s(u,v)表示。
32、从光场图像生成子孔径图像的示例如下。在图6a中，光场图像内的每个微图像的左上像素被加阴影。所有这些像素被组合成单个子孔径图像，即在图6b的左上的子孔径图像。
33、(x,y,i,j)与(α,β,u,v)之间的关系可如下表示：
34、
35、其中表示下取整函数，并且mod表示模函数。
36、如果p不是精确的整数而是接近整数，则可通过考虑等于的微透镜图像之间的距离是刚好大于p的整数来计算子孔径图像。这种情况尤其发生在微透镜直径φ等于整数个像素时。在这种情况下，p＝φe略大于φ，因为e＝(d+d)/d略大于1。考虑的优点在于，因为一个像素l(x,y,i,j)对应于整数坐标子孔径像素s(α,β,u,v)，所以子孔径图像在没有插值的情况下被计算。缺点在于，从其记录光子的光瞳的部分在给定子孔径图像s(u,v)内不是恒定的。因此，s(u,v)子孔径图像没有精确地对(u,v)光瞳坐标进行采样。
37、在其中p不是整数，或者其中在微透镜阵列相对于像素阵列旋转的情况下，则可使用插值来计算子孔径图像，因为微透镜的中心(xi,j,ui,j)不在整数坐标处。
38、在光场图像l(x,y,i,j)内，使对象在具有复制距离w的若干微图像上可见。在子孔径图像上，对象也可见几次。从一个子孔径图像到下一个水平子孔径图像，对象坐标(α,β)看起来偏移视差ρ。ρ与w之间的关系可表示为：
39、
40、通过组合等式(5)和(9)也可建立对象的视差ρ与距离z之间的关系：
41、
42、将光场像素投影在重新聚焦的图像上。
43、图像重新聚焦在于将由传感器记录的光场像素l(x,y,i,j)投影到坐标(x,y)的2d重新聚焦的图像中。可通过偏移微图像(i,j)来执行投影：
44、
45、其中wfocus是与在计算的重新聚焦的图像中对焦出现的对象的距离zfocus对应的选择的复制距离。s是控制重新聚焦的图像的大小的缩放因子。将光场像素的值l(x,y,i,j)相加到坐标(x,y)处的重新聚焦的图像上。如果投影的坐标为非整数，则使用插值来将像素相加。为了记录投影到重新聚焦图像中的像素数量，创建具有与重新聚焦的图像相同大小的权重映射图像。该图像被初步设定为0。对于投影在重新聚焦的图像上的每个光场像素，将值1.0相加到坐标(x,y)处的权重图。如果使用插值，则将相同的插值核用于重新聚焦的图像和权重图图像两者。在所有光场像素被投影之后，重新聚焦的图像被权重图图像逐像素地划分。该归一化步骤提供了归一化的重新聚焦的图像的亮度一致性。
46、添加子孔径图像以计算重新聚焦的图像。
47、在执行重新聚焦的另一种技术中，可通过考虑到距离zfocus处的对象对焦的视差ρfocus而对子孔径图像s(α,β)求和来计算重新聚焦的图像。
48、
49、子孔径像素被投影在重新聚焦的图像上，并且权重图记录该像素的贡献，遵循上述相同的过程。
技术实现思路
1、根据一些实施方案的装置包括滤色器系统，该滤色器系统包括重复6×6滤色器像素图案，每个滤色器像素可由指示相应滤色器像素在该图案内的行和列位置的整数坐标(m,n)识别，其中0≤m≤5并且0≤n≤5，并且每个滤色器像素具有第一颜色、第二颜色或第三颜色；其中，在以下九个滤色器像素的群组中的每一者中，三个滤色器像素具有该第一颜色，三个滤色器像素具有该第二颜色，并且三个滤色器像素具有该第三颜色：
2、(a)m＝0、1或2并且n＝0、1或2的九个滤色器像素；
3、(b)m＝3、4或5并且n＝0、1或2的九个滤色器像素；
4、(c)m＝0、1或2并且n＝3、4或5的九个滤色器像素；
5、(d)m＝3、4或5并且n＝3、4或5的九个滤色器像素；
6、(e)m＝0、2或4并且n＝0、2或4的九个滤色器像素；
7、(f)m＝1、3或5并且n＝0、2或4的九个滤色器像素；
8、(g)m＝0、2或4并且n＝1、3或5的九个滤色器像素；和
9、(h)m＝1、3或5并且n＝1、3或5的九个滤色器像素。
10、在一些实施方案中，m≤2的每个滤色器像素(m,n)具有与滤色器像素(m+3,n)不同的颜色；并且n≤2的每个滤色器像素(m,n)具有与滤色器像素(m,n+3)不同的颜色。
11、在一些实施方案中，该6×6滤色器像素图案以如下图案或者以如下图案的旋转或反射形式布置，其中“1”指示该第一颜色，“2”指示该第二颜色，并且“3”指示该第三颜色：
12、 2 2 1 3 3 2 3 1 1 2 2 3 2 3 3 1 1 1 3 3 2 1 1 3 1 2 2 3 3 1 3 1 1 2 2 2
13、在一些实施方案中，该6×6滤色器像素图案以如下图案或者以如下图案的旋转或反射形式布置，其中“1”指示该第一颜色，“2”指示该第二颜色，并且“3”指示该第三颜色：
14、 1 1 2 2 2 3 1 3 2 2 1 3 2 3 3 3 1 1 2 2 3 3 3 1 3 2 1 1 3 2 3 1 1 1 2 2
15、该装置的一些实施方案还包括具有多个传感器像素的光传感器阵列，其中这些滤色器像素中的每个滤色器像素叠加该传感器像素中的对应一个传感器像素。
16、一些实施方案还包括微透镜阵列，其中微透镜中的每个微透镜叠加该6×6滤色器像素图案内的相应3×3象限。一些此类实施方案还包括主透镜，该主透镜操作以将光朝向该微透镜阵列聚焦。
17、在一些实施方案中，该第一颜色是红色，该第二颜色是绿色，并且该第三颜色是蓝色。
18、在一些实施方案中，该第一颜色是青色，该第二颜色是品红色，并且该第三颜色是黄色。
19、根据一些实施方案的全光传感器包括：多个微透镜；在每个微透镜下方的相应3×3滤色器像素阵列；和在这些滤色器像素下方的传感器像素阵列，该传感器像素阵列被配置为捕获全光图像。这些滤色器像素中的每一者具有第一颜色、第二颜色或第三颜色，并且这些滤色器像素的颜色被布置成使得(i)从该全光图像生成的子孔径图像中的每一者具有扩展拜耳图案，并且(ii)通过以零或一的视差值将这些子孔径图像相加而生成的重新聚焦的图像的像素接收来自该第一颜色的三个像素、该第二颜色的三个像素和该第三颜色的三个像素的贡献。
20、本文所述的实施方案还包括：存储在非暂态存储介质上的全光图像；用于对使用描述的全光传感器捕获的图像进行去马赛克和/或重新聚焦的方法；以及处理器和存储在非暂态存储介质上的指令，该指令用于对使用该描述的全光传感器捕获的图像进行去马赛克和/或重新聚焦。
1.一种装置，所述装置包括：
2.根据权利要求1所述的装置，其中：
3.根据权利要求1或2所述的装置，其中所述6×6滤色器像素图案以如下图案或者以如下图案的旋转或反射形式布置，其中“1”指示所述第一颜色，“2”指示所述第二颜色，并且“3”指示所述第三颜色：
4.根据权利要求1或2所述的装置，其中所述6×6滤色器像素图案以如下图案或者以如下图案的旋转或反射形式布置，其中“1”指示所述第一颜色，“2”指示所述第二颜色，并且“3”指示所述第三颜色：
5.根据权利要求1至4中任一项所述的装置，还包括具有多个传感器像素的光传感器阵列，其中所述滤色器像素中的每个滤色器像素叠加所述传感器像素中的对应一个传感器像素。
6.根据权利要求1至5中任一项所述的装置，还包括微透镜阵列，其中所述微透镜中的每个微透镜叠加所述6×6滤色器像素图案内的相应3×3象限。
7.根据权利要求6所述的装置，还包括主透镜，所述主透镜操作以将光朝向所述微透镜阵列聚焦。
8.根据权利要求1至7中任一项所述的装置，其中所述第一颜色是红色，所述第二颜色是绿色，并且所述第三颜色是蓝色。
9.根据权利要求1至7中任一项所述的装置，其中所述第一颜色是青色，所述第二颜色是品红色，并且所述第三颜色是黄色。
10.一种全光传感器，所述全光传感器包括：
11.一种对使用九合一像素传感器生成的全光图像进行联合重新聚焦和去马赛克的方法，所述方法包括：
12.根据权利要求11所述的方法，其中所述九个子孔径图像中的每一者都具有扩展拜耳图案。
13.根据权利要求11或12所述的方法，其中所述整数视差值是零。
14.根据权利要求11或12所述的方法，其中所述整数视差值是一。
15.根据权利要求11或12所述的方法，其中所述整数视差值是二。
16.根据权利要求11至15中任一项所述的方法，其中所述全光图像中的所述像素与重复6×6颜色图案相关联，所述颜色图案中的每个位置能够由整数坐标(m,n)识别，其中0≤m≤5并且0≤n≤5，并且所述颜色图案中的每个位置具有第一颜色、第二颜色或第三颜色；
17.一种处理器，所述处理器被配置为执行根据权利要求11至16中任一项所述的方法。
18.一种存储指令的计算机可读介质，所述指令在处理器上执行时操作以执行根据权利要求11至16中任一项所述的方法。
19.一种存储全光图像的计算机可读介质，所述全光图像包括多个像素，所述全光图像中的所述像素与重复6×6颜色图案相关联，所述颜色图案中的每个位置能够由整数坐标(m,n)识别，其中0≤m≤5并且0≤n≤5，并且所述颜色图案中的每个位置具有第一颜色、第二颜色或第三颜色；
20.根据权利要求19所述的非暂态计算机可读介质，其中：
21.根据权利要求1或2所述的装置，其中所述6×6滤色器像素图案被布置成以下基本图案：
22.根据权利要求1或2所述的装置，其中所述6×6滤色器像素图案被布置成以下基本图案：
