本技术涉及图像处理，尤其涉及一种基于参考图像的3d特征图像匹配方法、装置和设备。
背景技术：
1、图像匹配是计算机视觉的一个基本任务，是机器人、无人机、机械臂等移动设备视觉定位、增强现实和虚拟现实以及3d重建等技术的基础。
2、随着技术的发展，现有技术中的图像匹配已经取得了较好的效果。
3、然而上述现有技术中，在图像受到光照、空间视角以及移动物体等影响时，图像匹配结果测量计算误差会相应增大；在图像匹配使用稠密特征点时，计算量以及耗时也会增大，使得一些实时场景中图像匹配应用受限；同时，为增加图像匹配结果的健壮性，通常使用rgbd设备，但该类设备成本较高，且测距范围受限，特别是在一些室外使用的场景中。因此，上述现有技术中图像匹配所面临的问题是当前亟待解决的。
技术实现思路
1、本技术提供一种基于参考图像的3d特征图像匹配方法、装置和设备，用以解决现有技术中存在的上述问题，即现有技术中在图像受到光照、空间视角以及移动物体等影响时，图像匹配结果测量计算误差会相应增大；在图像匹配使用稠密特征点时，计算量以及耗时也会增大，使得一些实时场景中图像匹配应用受限；同时，为增加图像匹配结果的健壮性，通常使用rgbd设备，但该类设备成本较高，且测距范围受限，特别是在一些室外使用的场景中的问题。
2、第一方面，本技术提供一种基于参考图像的3d特征图像匹配方法，该方法包括：
3、确定目标图像、源图像和参考图像对应的2d显著特征；
4、对所述源图像对应2d显著特征和所述目标图像对应的2d显著特征进行粗匹配处理，得到所述目标图像的第一匹配结果；
5、若所述第一匹配结果指示匹配失败，则根据所述源图像对应2d显著特征和所述参考图像对应2d显著特征，确定所述源图像的3d特征；
6、对所述目标图像对应2d显著特征和所述3d特征进行精匹配处理，得到所述目标图像的第二匹配结果，所述第二匹配结果用于指示所述目标图像和所述源图像的匹配程度。
7、可选的，所述对所述源图像对应2d显著特征和所述目标图像对应的2d显著特征进行粗匹配处理，得到所述目标图像的第一匹配结果，包括：
8、对所述源图像对应2d显著特征和所述目标图像对应的2d显著特征进行初始匹配处理，得到多个匹配特征以及初始匹配次数；
9、对所述目标图像进行栅格处理，并根据所述目标图像对应的2d显著特征，确定每个栅格内的观测频数，所述观测频数是根据每个栅格内的2d显著特征数量确定的；
10、根据多个栅格内的观测频数和所述目标图像对应的2d显著特征的数量，确定所述目标图像的期望频数，并根据所述观测频数和所述期望频数，确定所述目标图像的卡方值；
11、根据所述卡方值和预设卡方值，确定所述目标图像对应的2d显著特征的分布情况；
12、根据所述初始匹配次数和所述分布情况，确定所述目标图像的第一匹配结果。
13、可选的，所述根据所述源图像对应2d显著特征和所述参考图像对应2d显著特征，确定所述源图像的3d特征，包括：
14、采用图像处理算法对所述源图像对应2d显著特征和所述参考图像对应2d显著特征进行图像处理，得到每个3d显著特征的空间位置；
15、根据多个3d显著特征的空间位置，对所述源图像对应2d显著特征进行重投影处理，得到所述源图像对应的多个第一重合特征，并将所述多个第一重合特征点作为所述源图像的3d特征。
16、可选的，所述对所述目标图像对应2d显著特征和所述3d特征进行精匹配处理，得到所述目标图像的第二匹配结果，包括：
17、对所述目标图像对应2d显著特征和所述3d特征进行精匹配处理，得到所述目标图像的位置误差和描述误差；
18、对所述位置误差和所述描述误差进行优化处理，得到所述第二匹配结果。
19、可选的，所述确定目标图像、源图像和参考图像对应的2d显著特征，包括：
20、采用半稠密提取算法对所述目标图像、所述源图像和所述参考图像进行特征提取，得到所述目标图像、所述源图像和所述参考图像对应的2d显著特征。
21、可选的，所述方法还包括：
22、若所述第一匹配结果指示匹配成功，则将所述第一匹配结果作为所述目标图像和所述源图像的匹配结果。
23、第二方面，本技术提供一种基于参考图像的3d特征图像匹配装置，该装置包括：
24、确定模块，用于确定目标图像、源图像和参考图像对应的2d显著特征；
25、处理模块，用于对所述源图像对应2d显著特征和所述目标图像对应的2d显著特征进行粗匹配处理，得到所述目标图像的第一匹配结果；
26、所述确定模块，还用于若所述第一匹配结果指示匹配失败，则根据所述源图像对应2d显著特征和所述参考图像对应2d显著特征，确定所述源图像的3d特征。
27、所述处理模块，还用于对所述目标图像对应2d显著特征和所述3d特征进行精匹配处理，得到所述目标图像的第二匹配结果，所述第二匹配结果用于指示所述目标图像和所述源图像的匹配程度。
28、可选的，所述处理模块，还用于对所述源图像对应2d显著特征和所述目标图像对应的2d显著特征进行初始匹配处理，得到多个匹配特征以及初始匹配次数；
29、所述处理模块，还用于对所述目标图像进行栅格处理，并根据所述目标图像对应的2d显著特征，确定每个栅格内的观测频数，所述观测频数是根据每个栅格内的2d显著特征数量确定的；
30、所述确定模块，还用于根据多个栅格内的观测频数和所述目标图像对应的2d显著特征的数量，确定所述目标图像的期望频数，并根据所述观测频数和所述期望频数，确定所述目标图像的卡方值；
31、所述确定模块，还用于根据所述卡方值和预设卡方值，确定所述目标图像对应的2d显著特征的分布情况；
32、所述确定模块，还用于根据所述初始匹配次数和所述分布情况，确定所述目标图像的第一匹配结果。
33、可选的，所述处理模块，还用于采用图像处理算法对所述源图像对应2d显著特征和所述参考图像对应2d显著特征进行图像处理，得到每个3d显著特征的空间位置；
34、所述处理模块，还用于根据多个3d显著特征的空间位置，对所述源图像对应2d显著特征进行重投影处理，得到所述源图像对应的多个第一重合特征，并将所述多个第一重合特征点作为所述源图像的3d特征。
35、可选的，所述处理模块，还用于对所述目标图像对应2d显著特征和所述3d特征进行精匹配处理，得到所述目标图像的位置误差和描述误差；
36、所述处理模块，还用于对所述位置误差和所述描述误差进行优化处理，得到所述第二匹配结果。
37、可选的，所述处理模块，还用于采用半稠密提取算法对所述目标图像、所述源图像和所述参考图像进行特征提取，得到所述目标图像、所述源图像和所述参考图像对应的2d显著特征。
38、可选的，所述处理模块，还用于若所述第一匹配结果指示匹配成功，则将所述第一匹配结果作为所述目标图像和所述源图像的匹配结果。
39、第三方面，本技术提供一种基于参考图像的3d特征图像匹配设备，包括：至少一个处理器和存储器；
40、所述存储器存储计算机执行指令；
41、所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上述第一方面及第一方面各种可能的实现方式所述的基于参考图像的3d特征图像匹配方法。
42、第四方面，本发明实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面及第一方面各种可能的实现方式所述的基于参考图像的3d特征图像匹配方法。
43、本技术提供一种基于参考图像的3d特征图像匹配方法、装置和设备。该方法通过确定目标图像、源图像和参考图像对应的2d显著特征；对所述源图像对应2d显著特征和所述目标图像对应的2d显著特征进行粗匹配处理，得到所述目标图像的第一匹配结果；若所述第一匹配结果指示匹配失败，则根据所述源图像对应2d显著特征和所述参考图像对应2d显著特征，确定所述源图像的3d特征；对所述目标图像对应2d显著特征和所述3d特征进行精匹配处理，得到所述目标图像的第二匹配结果，所述第二匹配结果用于指示所述目标图像和所述源图像的匹配程度。该方法在进行图像匹配时结合参考图像来确定源图像的3d特征，且首先对源图像以及参考图像对应的2d显著特征进行粗匹配处理，在粗匹配结果失败时，对目标图像以及源图像的3d特征进行精匹配处理，从而提高了图像匹配的精确性与鲁棒性。
1.一种基于参考图像的3d特征图像匹配方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述源图像对应2d显著特征和所述目标图像对应的2d显著特征进行粗匹配处理，得到所述目标图像的第一匹配结果，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述源图像对应2d显著特征和所述参考图像对应2d显著特征，确定所述源图像的3d特征，包括：
4.根据权利要求2所述的方法，其特征在于，所述对所述目标图像对应2d显著特征和所述3d特征进行精匹配处理，得到所述目标图像的第二匹配结果，包括：
5.根据权利要求1所述的方法，其特征在于，所述确定目标图像、源图像和参考图像对应的2d显著特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.一种基于参考图像的3d特征图像匹配装置，其特征在于，包括：
8.根据权利要求7所述的装置，其特征在于，包括：
9.一种基于参考图像的3d特征图像匹配设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-6任一项所述的基于参考图像的3d特征图像匹配方法。
