本发明涉及计算机图像处理领域，特别是一种基于可变形网格和宽度残差网络的图像矩形化方法和图像矩形化装置。
背景技术：
1、图像处理技术已经成为计算机视觉、人工智能等领域的核心技术之一。然而，在处理不规则形状的图像时，传统的图像处理方法往往面临着诸多困难。例如传统的直接裁剪或是图像补全等方法通常会造成大量图像信息的损失，使得其无法准确反应真实场景的信息，导致图像矩形化效果不理想。这些挑战导致了在实际应用中对不规则图像进行矩形化的困难，影响了图像处理技术在人类社会生产生活中的全面应用。
2、目前，深度学习技术的崛起为图像处理领域带来了新的可能性。然而，针对不规则形状图像的矩形化问题，仍然存在一些技术瓶颈。一方面，传统的深度学习方法往往忽视了图像内部的刚性结构，导致对于形状多变的图像难以准确捕捉其内部特征。另一方面，过去的一些方法在追求图像矩形化的同时，容易造成全局信息的丢失，导致处理后的图像不自然，难以满足实际应用的需求。
技术实现思路
1、鉴于上述问题，本发明提出了一种基于可变形网格和宽度残差网络的图像矩形化方法和图像矩形化装置。
2、本发明实施例提供了一种基于可变形网格和宽度残差网络的图像矩形化方法，所述图像矩形化方法包括：
3、通过卷积神经预测网络对不规则形状图像进行刚性结构数量和方向预测，根据预测结果在可变形网格结构中选取合适的网格结构并生成预定义目标网格，所述可变形网格结构包括：三角形网格、矩形网格或正六边形网格；
4、预测网络模型根据所述不规则形状图像及其掩码矩阵生成预测初始化网格，其中，所述预测网络模型基于不规则拼接图像数据集训练得到；
5、将所述不规则形状图像、所述预测初始化网格和所述预定义目标网格共同输入到宽度残差神经网络中，进行图像矩形化迭代回归训练，其中，所述宽度残差网络在图像矩形化迭代回归训练过程中的损失函数包括：局部损失函数和全局损失函数，所述局部损失函数用以控制网格内目标的形变损失，所述全局相关损失函数用以避免在形变过程中造成的全局信息损失；
6、当所述损失函数迭代降低到最小时，停止训练，输出当前结果作为图像矩形化的最终结果，使得图像拼接后的不规则形状图像得以矩形化校正。
7、可选地，所述卷积神经预测网络包括：yolo或darknet。
8、可选地，根据预测结果在可变形网格结构中选取合适的网格结构，包括：
9、根据所述刚性结构的方向和数量进行选择；
10、若所述不规则形状图像中水平或垂直结构较多则选择所述矩形网格；
11、若所述不规则形状图像中不规则形状结构较多时则选择所述三角形网格；
12、若所述不规则形状图像中所述水平或垂直结构与所述不规则形状结构比例相当时，则选择所述正六边形网格。
13、可选地，所述预测网络模型利用宽度残差神经网络对所述不规则拼接图像数据集进行训练后得到，所述不规则拼接图像数据集包括：海量不规则形状图像的拼接图像；
14、训练好的预测网络模型对所述不规则形状图像及其掩码矩阵的内容感知生成所述预测初始化网格。
15、可选地，将所述不规则形状图像、所述预测初始化网格和所述预定义目标网格共同输入到宽度残差神经网络中，进行图像矩形化迭代回归训练，包括：
16、为所述局部损失函数和所述全局损失函数分别配置权重，以调节两种损失函数对图像矩形化迭代回归训练的影响；
17、若所述局部损失函数的权重大于所述全局损失函数的权重，则以控制网格内目标的形变损失更小为主要目标，进行图像矩形化迭代回归训练；
18、若所述局部损失函数的权重小于所述全局损失函数的权重，则以避免在形变过程中造成的全局信息损失更小为主要目标，进行图像矩形化迭代回归训练；
19、若所述局部损失函数的权重等于所述全局损失函数的权重，则均衡形变损失和全局信息损失，进行图像矩形化迭代回归训练。
20、本发明实施例提供了一种基于可变形网格和宽度残差网络的图像矩形化装置，所述图像矩形化装置包括：
21、预测选取模块，用于通过卷积神经预测网络对不规则形状图像进行刚性结构数量和方向进行预测，根据预测结果在可变形网格结构中选取合适的网格结构并生成预定义目标网格，所述可变形网格结构包括：三角形网格、矩形网格或正六边形网格；
22、初始化模块，用于利用预测网络模型根据所述不规则形状图像及其掩码矩阵生成预测初始化网格，其中，所述预测网络模型基于不规则拼接图像数据集训练得到；
23、矩形化迭代回归训练模块，用于将所述不规则形状图像、所述预测初始化网格和所述预定义目标网格共同输入到宽度残差神经网络中，进行图像矩形化迭代回归训练，其中，所述宽度残差网络在图像矩形化迭代回归训练过程中的损失函数包括：局部损失函数和全局损失函数，所述局部损失函数用以控制网格内目标的形变损失，所述全局相关损失函数用以避免在形变过程中造成的全局信息损失；
24、输出模块，用于当所述损失函数迭代降低到最小时，停止训练，输出当前结果作为图像矩形化的最终结果，使得图像拼接后的不规则形状图像得以矩形化校正。
25、可选地，所述预测选取模块使用的卷积神经预测网络包括：yolo或darknet。
26、可选地，所述预测选取模块具体用于：
27、根据所述刚性结构的方向和数量进行选择；
28、若所述不规则形状图像中水平或垂直结构较多则选择所述矩形网格；
29、若所述不规则形状图像中不规则形状结构较多时则选择所述三角形网格；
30、若所述不规则形状图像中所述水平或垂直结构与所述不规则形状结构比例相当时，则选择所述正六边形网格。
31、可选地，所述初始化模块中的预测网络模型是利用宽度残差神经网络对所述不规则拼接图像数据集进行训练后得到，所述不规则拼接图像数据集包括：海量不规则形状图像的拼接图像；
32、所述初始化模块利用训练好的预测网络模型对所述不规则形状图像及其掩码矩阵的内容感知生成所述预测初始化网格。
33、可选地，所述矩形化迭代回归训练模块包括：
34、权重子模块，用于为所述局部损失函数和所述全局损失函数分别配置权重，以调节两种损失函数对图像矩形化迭代回归训练的影响；
35、回归训练子模块，用于若所述局部损失函数的权重大于所述全局损失函数的权重，则以控制网格内目标的形变损失更小为主要目标，进行图像矩形化迭代回归训练；
36、所述回归训练子模块，还用于若所述局部损失函数的权重小于所述全局损失函数的权重，则以避免在形变过程中造成的全局信息损失更小为主要目标，进行图像矩形化迭代回归训练；
37、所述回归训练子模块，还用于若所述局部损失函数的权重等于所述全局损失函数的权重，则均衡形变损失和全局信息损失，进行图像矩形化迭代回归训练。
38、本发明实施例提供了一种电子设备，所述电子设备包括：
39、一个或多个处理器；和
40、其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如上任一项所述的基于可变形网格和宽度残差网络的图像矩形化方法。
41、本发明提供的基于可变形网格和宽度残差网络的图像矩形化方法，首先通过卷积神经预测网络对不规则形状图像进行刚性结构数量和方向预测，根据预测结果在可变形网格结构中选取合适的网格结构并生成预定义目标网格。之后利用预测网络模型根据不规则形状图像及其掩码矩阵生成预测初始化网格，再将不规则形状图像、预测初始化网格和预定义目标网格共同输入到宽度残差神经网络中，进行图像矩形化迭代回归训练。最后当损失函数迭代降低到最小时，停止训练，输出当前结果作为图像矩形化的最终结果，使得图像拼接后的不规则形状图像得以矩形化校正。
42、本发明所提基于可变形网格和宽度残差网络的图像矩形化方法，引入了卷积神经预测网络和宽度残差神经网络相结合的方法。卷积神经预测网络通过对图像的刚性结构数量和方向进行预测，选择最合适当前图像的网格结构进行矩形化回归，为后续矩形化处理提供了有效的基础。
43、与此同时，利用宽度残差神经网络对不规则拼接图像进行内容感知训练，提高了对不规则形状的适应能力。在矩形化过程中，通过局部损失函数控制网格内目标的形变，通过全局相关损失函数避免全局信息的损失，使得图像在经过矩形化处理后，既保持了内部结构的刚性，又保留了全局信息，达到了更为理想的矩形化效果。为处理不规则图像的矩形化发展提供新的技术支持，具有较强的实用性。
1.一种基于可变形网格和宽度残差网络的图像矩形化方法，其特征在于，所述图像矩形化方法包括：
2.根据权利要求1所述的图像矩形化方法，其特征在于，所述卷积神经预测网络包括：yolo或darknet。
3.根据权利要求1所述的图像矩形化方法，其特征在于，根据预测结果在可变形网格结构中选取合适的网格结构，包括：
4.根据权利要求1所述的图像矩形化方法，其特征在于，所述预测网络模型利用宽度残差神经网络对所述不规则拼接图像数据集进行训练后得到，所述不规则拼接图像数据集包括：海量不规则形状图像的拼接图像；
5.根据权利要求1所述的图像矩形化方法，其特征在于，将所述不规则形状图像、所述预测初始化网格和所述预定义目标网格共同输入到宽度残差神经网络中，进行图像矩形化迭代回归训练，包括：
6.一种基于可变形网格和宽度残差网络的图像矩形化装置，其特征在于，所述图像矩形化装置包括：
7.根据权利要求6所述的图像矩形化装置，其特征在于，所述预测选取模块使用的卷积神经预测网络包括：yolo或darknet。
8.根据权利要求6所述的图像矩形化装置，其特征在于，所述预测选取模块具体用于：
9.根据权利要求6所述的图像矩形化装置，其特征在于，所述初始化模块中的预测网络模型是利用宽度残差神经网络对所述不规则拼接图像数据集进行训练后得到，所述不规则拼接图像数据集包括：海量不规则形状图像的拼接图像；
10.一种电子设备，所述电子设备包括：
