本发明涉及投影仪画面自动矫正，尤其涉及一种基于最优传输匹配的自监督投影几何矫正方法及装置。
背景技术：
1、多路异形投影自动校正是智能展览展示娱乐行业领域的一个重要发展方向。快速、准确、操作简便的多路投影几何矫正方法是高质量智投影方法是的关键。
2、相关技术在对投影画面进行矫正时是采用人工标记或者依次点亮的方式建立激光点阵与摄像机采集点的匹配关系，并利用投影机和摄像机的像素对应关系和激光点的空间位置计算投影机的投影矩阵，从而完成投影几何矫正，无论是人工标记还是使用依次点亮的方式，在投影路数较多的情况下，会带来大量的时间消耗与人工负担，影响多路异形投影部署效率。
技术实现思路
1、本发明提供一种基于最优传输匹配的自监督投影几何矫正方法及装置，用以解决现有技术采用人工标记或者依次点亮的方式建立激光点阵与摄像机采集点的匹配关系会带来大量的时间消耗与人工负担的缺陷，提高了多路异形投影部署效率。
2、本发明提供一种基于最优传输匹配的自监督投影几何矫正方法，包括：
3、获取投影仪在真实场景下的激光点阵相平面数据和相机相平面数据；
4、基于匹配网络对所述激光点阵相平面数据和相机相平面数据进行匹配推断，得到匹配关系矩阵；其中，所述匹配网络基于以虚拟场景下的虚拟激光点阵相平面数据和虚拟相机相平面数据为训练样本，以激光点推断匹配关系矩阵和真值匹配矩阵对应的范数为损失函数对初始匹配矩阵进行反向传播训练得到；
5、对所述匹配关系矩阵中的各匹配点依次进行矩阵求解和结构光解码处理，得到投影矩阵，并根据所述投影矩阵对所述投影仪进行投影几何校正。
6、根据本发明提供的一种基于最优传输匹配的自监督投影几何矫正方法，所述初始匹配矩阵包括激光点特征提取子网络、相机点特征提取子网络、初始点相似度矩阵生成模块、匹配模块和相似度量反馈模块；
7、所述匹配网络通过如下步骤训练得到：
8、基于虚拟引擎ue搭建所述虚拟场景，并采集投影仪在所述虚拟场景下的虚拟监督训练数据，所述虚拟监督训练数据包括所述虚拟激光点阵相平面数据和所述虚拟相机相平面数据；
9、将所述虚拟监督训练数据中的各项数据的顺序打乱，并根据打乱顺序后的虚拟监督训练数据确定所述真值匹配矩阵；
10、基于所述激光点特征提取子网络从所述虚拟激光点阵相平面数据中提取点阵点次级特征，基于所述相机点特征提取子网络从所述虚拟相机相平面数据中提取相机点特征；
11、基于初始点相似度矩阵生成模块对所述点阵点次级特征和所述相机点特征依次进行归一化处理，并对归一化后的各特征进行相似度计算，得到初始点相似度矩阵；
12、基于匹配模块对所述初始点相似度矩阵进行归一化处理，并根据归一化后的初始点相似度矩阵对所述点阵点次级特征和所述相机点特征分别进行迭代优化，得到最优传输向量，并根据所述最优传输向量和所述归一化后的初始点相似度矩阵计算得到所述激光点推断匹配关系矩阵；
13、基于所述相似度量反馈模块根据所述激光点推断匹配关系矩阵和真值匹配矩阵之间的差值对应的范数确定损失函数，并利用所述损失函数对所述初始匹配网络进行迭代训练，得到所述匹配网络。
14、根据本发明提供的一种基于最优传输匹配的自监督投影几何矫正方法，所述对所述匹配关系矩阵中的各匹配点依次进行矩阵求解和结构光解码处理，得到投影矩阵包括：
15、根据所述匹配关系矩阵中的各匹配点进行本质矩阵求解，得到对极几何本质矩阵；
16、根据对极几何本质矩阵对应的对极线约束求解真实场景激光点和相机成像点之间的匹配关系；
17、对所述匹配关系进行结构光解码，得到激光点在投影仪的投影图像上的坐标信息，并根据所述坐标信息确定所述投影矩阵。
18、根据本发明提供的一种基于最优传输匹配的自监督投影几何矫正方法，所述虚拟激光点阵相平面数据包括多个激光点阵坐标；所述激光点特征提取子网络包括多个卷积层、批归一化层、线性整流层、全连接层、二维卷积层和多结构的残差网络；
19、所述基于所述激光点特征提取子网络从所述虚拟激光点阵相平面数据中提取点阵点次级特征包括：
20、计算每个激光点阵坐标的k近邻点集，并将所述k近邻点集中各点坐标按照距离中心点的距离依次排列，得到输入向量；
21、将所述输入向量依次经由所述多个卷积层、批归一化层、线性整流层和全连接层进行处理，得到点阵点初级特征；
22、将所述点阵点初级特征依次经由所述二维卷积层和多结构的残差网络进行处理，得到所述点阵点次级特征。
23、根据本发明提供的一种基于最优传输匹配的自监督投影几何矫正方法，所述根据归一化后的初始点相似度矩阵对所述点阵点次级特征和所述相机点特征分别进行迭代优化，通过下式实现：
24、v＝f2/(mnormu)
25、u＝f1/(mnormv)；
26、其中，f1为所述点阵点次级特征，u为f1对应的最优传输向量，f2为所述相机点特征，v为f2对应的最优传输向量，mnorm为所述归一化后的初始点相似度矩阵。
27、根据本发明提供的一种基于最优传输匹配的自监督投影几何矫正方法，所述损失函数通过下式表示：
28、l＝||mfinal-mgt||2；
29、其中，l为所述损失函数，mfinal为所述激光点推断匹配关系矩阵，mgt为所述真值匹配矩阵；||||2为2-范数。
30、本发明还提供一种基于最优传输匹配的自监督投影几何矫正装置，包括：
31、数据获取模块，用于获取投影仪在真实场景下的激光点阵相平面数据和相机相平面数据；
32、匹配模块，用于基于匹配网络对所述激光点阵相平面数据和相机相平面数据进行匹配推断，得到匹配关系矩阵；其中，所述匹配网络基于以虚拟场景下的虚拟激光点阵相平面数据和虚拟相机相平面数据为训练样本，以激光点推断匹配关系矩阵和真值匹配矩阵对应的范数为损失函数对初始匹配矩阵进行反向传播训练得到；
33、矫正模块，用于对所述匹配关系矩阵中的各匹配点依次进行矩阵求解和结构光解码处理，得到投影矩阵，并根据所述投影矩阵对所述投影仪进行投影几何校正。
34、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于最优传输匹配的自监督投影几何矫正方法。
35、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于最优传输匹配的自监督投影几何矫正方法。
36、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于最优传输匹配的自监督投影几何矫正方法。
37、本发明提供的基于最优传输匹配的自监督投影几何矫正方法及装置，通过虚拟场景下的虚拟激光点阵相平面数据和虚拟相机相平面数据预训练得到的匹配网络对激光点阵相平面数据和相机相平面数据进行匹配推断，得到匹配关系矩阵，对匹配关系矩阵中的各匹配点依次进行矩阵求解和结构光解码处理，并根据投影矩阵对投影仪进行投影几何校正，实现了在多路异形投影标记激光点匹配环节提升部署效率，并节省部署人员的人力消耗。
1.一种基于最优传输匹配的自监督投影几何矫正方法，其特征在于，包括：
2.根据权利要求1所述的基于最优传输匹配的自监督投影几何矫正方法，其特征在于，所述初始匹配矩阵包括激光点特征提取子网络、相机点特征提取子网络、初始点相似度矩阵生成模块、匹配模块和相似度量反馈模块；
3.根据权利要求1所述的基于最优传输匹配的自监督投影几何矫正方法，其特征在于，所述对所述匹配关系矩阵中的各匹配点依次进行矩阵求解和结构光解码处理，得到投影矩阵包括：
4.根据权利要求2所述的基于最优传输匹配的自监督投影几何矫正方法，其特征在于，所述虚拟激光点阵相平面数据包括多个激光点阵坐标；所述激光点特征提取子网络包括多个卷积层、批归一化层、线性整流层、全连接层、二维卷积层和多结构的残差网络；
5.根据权利要求2所述的基于最优传输匹配的自监督投影几何矫正方法，其特征在于，所述根据归一化后的初始点相似度矩阵对所述点阵点次级特征和所述相机点特征分别进行迭代优化，通过下式实现：
6.根据权利要求1和2任一项所述的基于最优传输匹配的自监督投影几何矫正方法，其特征在于，所述损失函数通过下式表示：
7.一种基于最优传输匹配的自监督投影几何矫正装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于最优传输匹配的自监督投影几何矫正方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于最优传输匹配的自监督投影几何矫正方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于最优传输匹配的自监督投影几何矫正方法。
