一种图像传感器、图像处理系统及图像处理方法与流程

专利检索2024-12-23  28


本申请涉及图像传感器设计领域,尤其涉及一种图像传感器、图像处理系统及图像处理方法。


背景技术:

1、传统的rgbir传感器在rgb通道感应一部分红外分量,且红外分量较大。在部分存在红外光能量较多的场景中,去除可见光通道的红外分量后,色彩信息会有一定程度的丢失。并且,rgb通道与红外通道的曝光参数相同,较难兼顾两路信息均达到曝光合适。


技术实现思路

1、有鉴于此,本申请提供一种图像传感器、图像处理系统及图像处理方法。

2、具体地,本申请是通过如下技术方案实现的:

3、根据本申请实施例的第一方面,提供一种图像传感器,包括:包括像素阵列,所述像素阵列包括红色像素、绿色像素、蓝色像素、暗光像素和白光像素,像素阵列中的每个像素包含微透镜、滤色单元及感光单元;

4、所述像素阵列包含多个rgbdw像素单元,rgbdw像素单元是红色像素、绿色像素、蓝色像素、暗光像素和白光像素构成的4*4单元;

5、所述rgbdw像素单元中,白光像素占所有像素的1/2,红色像素、绿色像素、蓝色像素、暗光像素分别占所有像素数的1/8;

6、所述rgbdw像素单元中,白光像素按照每隔一个像素且相邻行交叉错位的方式排列;

7、所述rgbdw像素单元中的红色像素、绿色像素、蓝色像素与暗光像素填满剩余位置,且红色像素、绿色像素、蓝色像素与暗光像素中同一通道的两个像素之间斜向间隔一个像素。

8、根据本申请实施例的第二方面,提供一种图像处理系统,至少包括图像传感器单元、光学单元、图像处理单元、曝光控制单元、所述图像传感器单元包括第一方面提供的图像传感器,其中,

9、所述光学单元,用于对入射光的部分波长区间光谱进行阻挡,输出入射所述图像传感器的目标光信号;

10、所述图像传感器单元,用于通过所述图像传感器的像素阵列中各像素对所述目标光信号的感光转化为电信号,并经过所述图像传感器的读出电路后,输出第一格式的图像信号;

11、所述曝光控制单元,用于输出曝光控制信号给所述图像传感器单元,以控制所述图像传感器单元的所述图像传感器的像素阵列中各像素的各个通道的曝光;

12、所述图像处理单元,用于将所述第一格式的图像信号进行第一处理得到第一格式的第一处理图像;将所述第一格式的第一处理图像进行第二处理得到第二格式的第二处理图像。

13、根据本申请实施例的第三方面,提供一种图像处理方法,应用于图像处理系统,所述图像处理系统包括第一方面提供的图像传感器,所述方法包括:

14、将图像传感器输出的第一格式的图像信号进行第一处理得到第一格式的第一处理图像,其中,所述图像处理器传感器的像素阵列中至少包括两类像素,其中第一类像素允许通过的近红外光的强度强于第二类像素允许通过的近红外光的强度;

15、将所述第一格式的处理图像进行第二处理得到第二格式的第二处理图像。

16、根据本申请实施例的第四方面,提供一种曝光控制方法,应用于第二方面提供的图像处理系统,所述方法包括:

17、生成曝光控制信号;

18、依据所述曝光控制信号控制图像传感器的像素阵列中各像素的各个通道的曝光。

19、根据本申请实施例的第五方面,提供一种曝光控制装置,包括:

20、生成单元,用于生成曝光控制信号;

21、控制单元,用于依据所述曝光控制信号控制图像传感器的像素阵列中各像素的各个通道的曝光。

22、本申请实施例的图像传感器,通过设置像素阵列,该像素阵列包括红色像素、绿色像素、蓝色像素、暗光像素和白光像素,像素阵列中的每个像素包含微透镜、滤色单元及感光单元,该像素阵列包含多个rgbdw像素单元,该rgbdw像素单元中白光像素占所有像素的1/2,红色像素、绿色像素、蓝色像素、暗光像素分别占所有像素数的1/8;该rgbdw像素单元中白光像素按照每隔一个像素且相邻行交叉错位的方式排列,该rgbdw像素单元中的红色像素、绿色像素、蓝色像素与暗光像素填满剩余位置,且红色像素、绿色像素、蓝色像素与暗光像素中同一通道的两个像素斜向间隔一个像素,通过上述图像传感器设置,实现了单传感器同时获取多光谱响应数据,既能保证低照度补光情况下插值图像亮度分量的信噪比,又能最大限度地保证了图像色彩信息和各个色彩分量的信息量相同,且色彩通道的插值可以利用w通道的图像插值信息,能够兼顾色彩与图像细节。



技术特征:

1.一种图像传感器,其特征在于,包括像素阵列,所述像素阵列包括红色像素、绿色像素、蓝色像素、暗光像素和白光像素,像素阵列中的每个像素包含微透镜、滤色单元及感光单元;

2.根据权利要求1所述的图像传感器,其特征在于,所述图像传感器还包括:曝光时间控制电路,所述曝光时间控制电路用于输出至少一路曝光时间控制信号,第一路曝光时间控制信号至少用于控制非白光像素的曝光时间,所述非白光像素包括所述红色像素、所述绿色像素、所述蓝色像素和所述暗光像素。

3.根据权利要求2所述的图像传感器,其特征在于,所述第一路曝光时间控制信号至少用于控制红色像素、绿色像素、蓝色像素以及暗光像素的曝光起始时间;

4.根据权利要求1~3中任一项所述的图像传感器,其特征在于,所述图像传感器还包括:传感器增益控制电路,所述传感器增益控制电路用于输出至少两路增益控制信号,其中,第一路增益控制信号用于控制红色像素、绿色像素以及蓝色像素的增益,第二路增益控制信号至少用于控制白光像素的增益。

5.根据权利要求4所述的图像传感器,其特征在于,在所述图像传感器还包括曝光时间控制电路的情况下,所述曝光时间控制电路用于输出两路曝光时间控制信号,其中,第一路曝光时间控制信号用于控制非白光像素的曝光时间,第二路曝光时间控制信号用于控制所述白光像素的曝光时间,

6.根据权利要求5所述的图像传感器,其特征在于,所述第一路曝光时间控制信号用于控制红色像素、绿色像素、蓝色像素以及暗光像素的曝光起始时间,所述第二路曝光时间控制信号用于控制所述白光像素的曝光起始时间,

7.根据权利要求4所述的图像传感器,其特征在于,在所述图像传感器还包括曝光时间控制电路的情况下,所述曝光时间控制电路用于输出一路曝光时间控制信号,第一路曝光时间控制信号用于控制非白光像素和白光像素的曝光时间;

8.根据权利要求7所述的图像传感器,其特征在于,所述第一路曝光时间控制信号用于控制所述非白光像素和白光像素的曝光起始时间,

9.根据权利要求1至3中任一项所述的图像传感器,其特征在于,

10.根据权利要求9所述的图像传感器,其特征在于,所述红色像素、绿色像素、蓝色像素对应的所述滤色单元涂覆的滤波材料允许通过的近红外光的强度,弱于所述白光像素对应的所述滤色单元涂覆的滤光材料允许通过的近红外光的强度。

11.根据权利要求1至3中任一项所述的图像传感器,其特征在于,在第一波长范围[t1,t2]内,白光像素的光谱响应曲线的积分值分别大于r像素的光谱响应曲线的积分值、g像素的光谱响应曲线的积分值、以及b像素的光谱响应曲线的积分值,且暗光像素的光谱响应曲线的积分值分别大于r像素的光谱响应曲线的积分值、g像素的光谱响应曲线的积分值、以及b像素光谱响应曲线的积分值,

12.根据权利要求11所述的图像传感器,其特征在于,在第一波长范围[t1,t2]内,暗光像素的光谱响应曲线的积分值不大于白光像素的光谱响应曲线的积分值。

13.根据权利要求12所述的图像传感器,其特征在于,

14.根据权利要求1至3中任一项所述的图像传感器,其特征在于,在第二波长范围[t3,t4]内,r像素的光谱响应曲线的积分值、g像素的光谱响应曲线的积分值、以及b像素的光谱响应曲线的积分值均大于暗光像素的光谱响应曲线的积分值;

15.根据权利要求14所述的图像传感器,其特征在于,

16.一种图像处理系统,其特征在于,至少包括图像传感器单元、光学单元、图像处理单元、曝光控制单元、所述图像传感器单元包括权利要求1-15中任一项所述的图像传感器,其中,

17.根据权利要求16所述的图像处理系统,其特征在于,所述光学单元包括光学成像镜头和滤光装置,其中,所述滤光装置位于所述光学成像镜头和所述图像传感器之间,所述图像传感器位于所述滤光装置的出光侧。

18.根据权利要求17所述的图像处理系统,其特征在于,所述滤光装置包括第一滤光片、第二滤光片和切换部件,所述第一滤光片和所述第二滤光片均与所述切换部件连接;其中,所述切换部件,用于将所述第二滤光片切换到所述图像传感器的入光侧,或者将所述第一滤光片切换到所述图像传感器的入光侧。

19.根据权利要求18所述的图像处理系统,其特征在于,

20.根据权利要求19所述的图像处理系统,其特征在于,所述第一滤光片为双峰滤光片,所述双峰滤光片用于使可见光波段[t3,t4]、及波段范围位于第一波长范围[t1,t2]内的红外光通过,以滤除红外波段内红色光通道,蓝色光通道,绿色光通道光谱响应不同的部分。

21.根据权利要求18所述的图像处理系统,其特征在于,

22.根据权利要求18所述的图像处理系统,其特征在于,所述图像处理系统还包括驱动控制单元,所述驱动控制单元,用于在所述图像处理系统使用第一工作模式时,控制所述切换部件将所述第二滤光片切换到所述图像传感器的入光侧;在所述图像处理系统使用第二工作模式时,控制所述切换部件将所述第一滤光片切换到所述图像传感器的入光侧。

23.根据权利要求18至22中任一项所述的图像处理系统,其特征在于,所述图像处理系统还包括:近红外补光控制单元和近红外补光单元;

24.根据权利要求16至22中任一项所述的图像处理系统,其特征在于,

25.根据权利要求24所述的图像处理系统,其特征在于,

26.根据权利要求24所述的图像处理系统,其特征在于,

27.根据权利要求24所述的图像处理系统,其特征在于,所述曝光时间控制电路用于根据所述曝光时间控制单元输出的所述曝光时间控制信号输出两路曝光时间控制信号,其中,第一路曝光时间控制信号用于控制所述非白光像素的曝光时间,第二路曝光时间控制信号用于控制所述白光像素的曝光时间,

28.根据权利要求27所述的图像处理系统,其特征在于,

29.根据权利要求24所述的图像处理系统,其特征在于,

30.根据权利要求27所述的图像处理系统,其特征在于,

31.根据权利要求29所述的图像处理系统,其特征在于,

32.根据权利要求27所述的图像处理系统,其特征在于,

33.根据权利要求29所述的图像处理系统,其特征在于,

34.根据权利要求23所述的图像处理系统,其特征在于,所述近红外补光控制单元包括近红外补光强度控制单元,其中,

35.一种图像处理方法,其特征在于,应用于图像处理系统,所述图像处理系统包括权利要求1-15中任一项所述的图像传感器,所述方法包括:

36.根据权利要求35所述的图像处理方法,其特征在于,将所述第一格式的第一处理图像进行第二处理得到第二格式的第二处理图像,包括:

37.根据权利要求36所述的图像处理方法,其特征在于,所述可见光全分辨率图像至少包括不含红外光成分的红色全分辨率图像、不含红外光成分的绿色全分辨率图像和不含红外光成分的蓝色全分辨率图像。

38.根据权利要求37所述的图像处理方法,其特征在于,当所述图像传感器的像素阵列包括rgbdw像素单元时,

39.根据权利要求37所述的图像处理方法,其特征在于,所述卷积滤波器组包括第一卷积滤波器组,第二卷积滤波器组和第三卷积滤波器组,所述第一卷积滤波器组用于输出不含红外光成分的红色全分辨率图像,所述第二卷积滤波器组用于输出不含红外光成分的绿色全分辨率图像,所述第三卷积滤波器组用于输出不含红外光成分的蓝色全分辨率图像;

40.根据权利要求38或39所述的图像处理方法,其特征在于,

41.根据权利要求35至39中任一项所述的图像处理方法,其特征在于,

42.根据权利要求41所述的图像处理方法,其特征在于,

43.根据权利要求35-39中任一项所述的图像处理方法,其特征在于,

44.一种曝光控制方法,其特征在于,应用于权利要求16-34中任一项所述的图像处理系统,所述方法包括:

45.根据权利要求44所述的曝光控制方法,其特征在于,所述图像传感器包括曝光时间控制电路;所述曝光控制信号包括曝光时间控制信号;

46.根据权利要求45所述的曝光控制方法,其特征在于,所述第一路曝光时间控制信号至少用于控制红色像素、绿色像素、蓝色像素以及暗光像素的曝光起始时间;

47.根据权利要求45或46所述的曝光控制方法,其特征在于,所述图像传感器还包括传感器增益控制电路;所述曝光控制信号还包括增益控制信号;

48.根据权利要求45或46所述的曝光控制方法,其特征在于,所述曝光时间控制电路用于根据所述曝光时间控制信号输出两路曝光时间控制信号,其中,第一路曝光时间控制信号用于控制所述非白光像素的曝光时间,第二路曝光时间控制信号用于控制所述白光像素的曝光时间,

49.根据权利要求48所述的曝光控制方法,其特征在于,

50.根据权利要求45或46所述的曝光控制方法,其特征在于,所述曝光时间控制电路用于根据所述曝光时间控制信号输出一路曝光时间控制信号,所述第一路曝光时间控制信号用于控制所述非白光像素和白光像素的曝光时间;

51.根据权利要求48所述的曝光控制方法,其特征在于,

52.根据权利要求50所述的曝光控制方法,其特征在于,

53.根据权利要求48所述的曝光控制方法,其特征在于,

54.根据权利要求50所述的曝光控制方法,其特征在于,

55.一种曝光控制装置,其特征在于,应用于权利要求16-34中任一项所述的图像处理系统,所述装置包括:


技术总结
本申请提供一种图像传感器、图像处理系统及图像处理方法,该图像传感器像素阵列,所述像素阵列包括红色像素、绿色像素、蓝色像素、暗光像素和白光像素,像素阵列中的每个像素包含微透镜、滤色单元及感光单元;像素阵列包含多个RGBDW像素单元;RGBDW像素单元中白光像素占所有像素的1/2,红色像素、绿色像素、蓝色像素、暗光像素分别占1/8;RGBDW像素单元中白光像素按照每隔一个像素且相邻行交叉错位的方式排列;RGBDW像素单元中的红色像素、绿色像素、蓝色像素与暗光像素填满剩余位置,且红色像素、绿色像素、蓝色像素与暗光像素中同一通道的两个像素斜向间隔一个像素。该图像传感器可以实现单传感器同时获取多光谱响应数据。

技术研发人员:叶鹏钊,范蒙,肖飞,俞海
受保护的技术使用者:杭州海康威视数字技术股份有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1147805.html

最新回复(0)