本发明涉及计算机,具体涉及一种手机双目相机标定方法、装置以及计算机可读存储介质。
背景技术:
1、随着手机双摄像头结构的普及,手机会搭载双摄像头实现各种ar(增强现实)/vr(虚拟现实)应用,这些双摄像头相关的应用会涉及到立体匹配算法。基于双摄像头结构的双目相机在实现立体匹配算法之前,必须对双目相机进行内参、外参标定,即通过拍摄特定图纸,完成两颗摄像头的内参(k1,k2)、外参数(r,t)及镜头畸变(d1,d2)的求解。常规标定方法包括张正友标定,张正友标定是基于2d平面靶标(如图1)的相机标定,实验中对平面棋盘格进行多角度拍摄后,将所得图片输入计算即可实现相机标定,具有较强的实验可行性。
2、通常,手机在出厂前,会在工厂特定灯箱环境下进行双目标定完成内参、外参的计算,工厂可以定制对应的标定环境,从而采用张正友标定完成双摄像头相机标定。在售后环节,一旦发生摄像头拆装或者摄像头更换,摄像头构造就会发生变化,而在售后场景下,基于成本考虑,售后网点通常没有对应标定2d平面靶标,缺少标准标定环境,从而造成无法标定,影响后续立体匹配算法效果。因此,需要一种新的对手机相机进行高效率、高精度标定的技术方案。
技术实现思路
1、为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决对手机相机进行高效率、高精度标定的手机双目相机标定方法、装置以及计算机可读存储介质。
2、第一方面,本发明提供一种手机双目相机标定方法,包括:步骤s210,通过手机的双目相机拍摄图像,其中,所述双目相机基于安装在所述手机上的第一摄像头和第二摄像头进行拍摄,由所述第一摄像头拍摄第一图像,由所述第二摄像头拍摄第二图像;步骤s220,从所述第一图像中识别第一组fast特征点,确定所述第一组fast特征点的坐标,从所述第二图像中识别第二组fast特征点,确定所述第二组fast特征点的坐标;步骤s230,基于预先为所述手机设置的与所述第一摄像头对应的第一内参矩阵k1和第一畸变参数d1、与所述第二摄像头对应的第二内参矩阵k2和第二畸变参数d2、所述第一摄像头和所述第二摄像头对应的旋转矩阵r和平移矩阵t,对所述第一组fast特征点的坐标和所述第二组fast特征点的坐标进行校正,得到校正后的所述第一组fast特征点的新坐标和所述第二组fast特征点的新坐标;步骤s240,基于所述第一组fast特征点的新坐标和所述第二组fast特征点的新坐标,计算所述第一摄像头和所述第二摄像头对应的旋转分量r和平移分量t;步骤s250,根据所述第一摄像头和所述第二摄像头对应的旋转分量r,对所述第一摄像头和所述第二摄像头对应的旋转矩阵r进行更新,根据所述第一摄像头和所述第二摄像头对应的平移分量t,对所述第一摄像头和所述第二摄像头对应的平移矩阵t进行更新。
3、优选地,前述的手机双目相机标定方法,在步骤s230之前,还包括:步骤s310,从与所述手机相同型号的多个其他手机中,获取所述多个其他手机中与所述第一摄像头相同的第一组摄像头对应的第一内参矩阵集合和第一畸变参数集合、与所述第二摄像头相同的第二组摄像头对应的第二内参矩阵集合和第二畸变参数集合、所述第一组摄像头与所述第二组摄像头对应的旋转矩阵集合和平移矩阵集合;步骤s320,从所述第一内参矩阵集合、所述第一畸变参数集合、所述第二内参矩阵集合、所述第二畸变参数集合、旋转矩阵集合和平移矩阵集合中,按预设比例剔除数值最高和最低的部分,根据剔除后的所述第一内参矩阵集合、所述第一畸变参数集合、所述第二内参矩阵集合、所述第二畸变参数集合、所述旋转矩阵集合和所述平移矩阵集合的平均值,设置所述第一内参矩阵k1、所述第一畸变参数d1、所述第二内参矩阵k2、所述第二畸变参数d2、所述旋转矩阵r和所述平移矩阵t。
4、优选地,前述的手机双目相机标定方法,在步骤s320之前,还包括:查询所述多个其他手机是否存在拍摄异常的记录;将存在拍摄异常记录的手机,从所述多个其他手机中剔除后,进入″从与所述手机相同型号的多个其他手机中,获取所述多个其他手机中与所述第一摄像头相同的第一组摄像头对应的第一内参矩阵集合和第一畸变参数集合、与所述第二摄像头相同的第二组摄像头对应的第二内参矩阵集合和第二畸变参数集合、所述第一组摄像头与所述第二组摄像头对应的旋转矩阵集合和平移矩阵集合″的步骤。
5、优选地,前述的手机双目相机标定方法,在步骤s230之前,还包括:判断所述第一组fast特征点和/或所述第二组fast特征点的数量是否超过预设数量n;在判断结果为是时,将所述第一图像和/或所述第二图像划分为均等的m个区域,判断每个区域中所述第一组fast特征点和/或所述第二组fast特征点的数量是否超过n/m;在判断结果为是时,进入″基于预先为所述手机设置的与所述第一摄像头对应的第一内参矩阵k1和第一畸变参数d1、与所述第二摄像头对应的第二内参矩阵k2和第二畸变参数d2、所述第一摄像头和所述第二摄像头对应的旋转矩阵r和平移矩阵t,对所述第一组fast特征点的坐标和所述第二组fast特征点的坐标进行校正″的步骤。
6、优选地,前述的手机双目相机标定方法,在步骤s210之前,包括:通过所述手机中的姿态传感器检测所述手机的姿态;根据所述手机的姿态判断是否发生导致所述手机中所述第一摄像头和/或所述第二摄像头的结构发生变化的事件;在判断结果为是时,进入″通过手机的双目相机拍摄图像″的步骤。
7、优选地,前述的手机双目相机标定方法,步骤s230包括:使用opencv中的stereorectify方法对所述第一组fast特征点的坐标和所述第二组fast特征点的坐标进行校正;步骤s240包括:使用opencv中的solvepnp方法计算所述第一摄像头和所述第二摄像头对应的旋转分量r和平移分量t。
8、优选地,前述的手机双目相机标定方法,步骤s250包括:取更新后的新旋转矩阵r’=r*r;″根据所述第一摄像头和所述第二摄像头对应的平移分量t,对所述第一摄像头和所述第二摄像头对应的平移矩阵t进行更新″的步骤包括:取更新后的新平移矩阵t’=r*t+t。
9、第二方面,本发明提供一种手机双目相机标定装置,包括:拍摄模块,通过手机的双目相机拍摄图像,其中,所述双目相机基于安装在所述手机上的第一摄像头和第二摄像头进行拍摄,由所述第一摄像头拍摄第一图像,由所述第二摄像头拍摄第二图像;坐标提取模块,从所述第一图像中识别第一组fast特征点,确定所述第一组fast特征点的坐标,从所述第二图像中识别第二组fast特征点,确定所述第二组fast特征点的坐标;校正模块,基于预先为所述手机设置的与所述第一摄像头对应的第一内参矩阵k1和第一畸变参数d1、与所述第二摄像头对应的第二内参矩阵k2和第二畸变参数d2、所述第一摄像头和所述第二摄像头对应的旋转矩阵r和平移矩阵t,对所述第一组fast特征点的坐标和所述第二组fast特征点的坐标进行校正,得到校正后的所述第一组fast特征点的新坐标和所述第二组fast特征点的新坐标;分量计算模块,基于所述第一组fast特征点的新坐标和所述第二组fast特征点的新坐标,计算所述第一摄像头和所述第二摄像头对应的旋转分量r和平移分量t;矩阵更新模块,根据所述第一摄像头和所述第二摄像头对应的旋转分量r,对所述第一摄像头和所述第二摄像头对应的旋转矩阵r进行更新,根据所述第一摄像头和所述第二摄像头对应的平移分量t,对所述第一摄像头和所述第二摄像头对应的平移矩阵t进行更新。
10、第三方面,本发明提供一种计算机可读存储介质,其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行前述的手机双目相机标定方法。
11、本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
12、本发明的技术方案,在对手机的双目相机进行标定时,不需要依赖专门的标准灯箱环境和额外设备,只需要使用双目相机拍摄例如自然场景的图像,从拍摄的图像中提取fast特征点后,基于预先设置的双目相机的内参矩阵、畸变参数、旋转矩阵和平移矩阵,对提取的fast特征点进行校正,基于校正后的fast,可以计算出相机的旋转分量和平移分量,则基于旋转分量和平移分量对旋转矩阵和平移矩阵做最后的更新优化,完成对手机的双目相机的标定工作,整个过程高效快捷,对相机的标定精准可靠。
1.一种手机双目相机标定方法,其特征在于,包括:
2.根据权利要求1所述的手机双目相机标定方法,其特征在于,在步骤s230之前,还包括:
3.根据权利要求2所述的手机双目相机标定方法,其特征在于,在步骤s320之前,还包括:
4.根据权利要求1所述的手机双目相机标定方法,其特征在于,在步骤s230之前,还包括:
5.根据权利要求1所述的手机双目相机标定方法,其特征在于,在步骤s210之前,包括:
6.根据权利要求1所述的手机双目相机标定方法,其特征在于,步骤s230包括:
7.根据权利要求1所述的手机双目相机标定方法,其特征在于,步骤s250包括:
8.一种手机双目相机标定装置,其特征在于,包括:
9.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的手机双目相机标定方法。
