本发明涉及机器人技术、计算机视觉和抓取检测领域，具体涉及基于关键点的机器人抓取检测方法。
背景技术：
1、随着机器人技术的急速进展，机器人在制造、服务、医疗等各个领域的应用呈现日益广泛的趋势。在机器人执行任务的复杂环境中，抓取检测作为关键环节，直接影响到机器人的操作成功与否。然而，传统的抓取检测方法在面对图像噪声、物体遮挡等挑战时表现不佳，导致抓取点的定位存在不准确性和不稳定性的问题。
2、目前的技术尽管已经提供了一些解决方案，包括利用深度学习和计算机视觉技术来提高抓取检测的性能。然而，这些方法仍然面临着一系列挑战，其中主要包括对复杂场景的适应性不足、对噪声和遮挡的敏感性以及对抓取点准确性和稳定性的进一步提升的需求。
技术实现思路
1、本发明的目的是提供具体涉及基于关键点的机器人抓取检测方法，该方法通过融合计算机视觉和机器学习技术，致力于解决传统抓取检测方法在复杂环境中的不足之处，提高了抓取点检测的准确性和稳定性。
2、本发明所采用的技术方案是，基于关键点的机器人抓取检测方法，包括以下步骤：
3、步骤1：构建gkscconv-net的基于关键点的抓取检测网络；
4、步骤2：输入图像处理，输出左抓取点、右抓取点和抓取中心关键点的初步预测；
5、步骤3：对步骤2的左抓取点、右抓取点和抓取中心关键点进行抓取点细化；
6、步骤4：对步骤3细化后的左抓取点、右抓取点和抓取中心关键点特征进行特征融合，然后进行抓取点的准确预测。
7、本发明的特征还在于：
8、抓取检测网络通过对n通道输入图像进行处理，包括有三个scconv2d层及三个scconvt2d层，其中，三个scconv2d层用于下采样；三个scconvt2d层用于上采样。
9、步骤2具体为：
10、s2.1：输入图像的处理：
11、s2.1.1：通过使用三个scconv2d层，进行卷积操作，突出图像中的抓取关键信息，增强对物体形状和纹理的感知；
12、s2.1.2：利用三个scconvt2d层的上采样操作确保输出图像与输入图像具有相同尺寸，保持图像整体结构和信息完整性；
13、s2.2：初步预测：
14、s2.2.1：特征提取：利用三个scconv2d层和三个scconvt2d层提取物体的形状、边缘及纹理这些特征信息；
15、s2.2.2：关键点定位：对步骤s2.2.1提取的特征信息进行处理，初步定位图像中的左抓取点、右抓取点和抓取中心关键点；
16、s2.2.3：初步预测结果：将步骤s2.2.2定位得到的左抓取点、右抓取点和抓取中心关键点的位置信息转化为初步的抓取点预测结果，初步的抓取点预测结果包括生成左抓取点、右抓取点和抓取中心关键点的图像表示；
17、步骤3具体为：
18、s3.1：左右抓取点细化：
19、s3.1.1：特征反馈：利用步骤2.2.3抓取点预测结果来初步预测结果的特征信息，包括关键点周围的上下文信息；
20、s3.1.2：细化算法应用：应用细化算法对左右抓取点的位置进行微调，直至预测的抓取框接近标注的真值框，即预测的抓取框与标注的真值框的iou小于30％，以消除可能的偏差，提高定位准确性；
21、s3.2：抓取中心关键点细化：
22、s3.2.1：特征反馈：通过关键点细化模块中的scconv模块提取偏移特征，然后将提取到的偏移量特征映射用于dcnv2层，获取抓取中心关键点初步预测结果的特征信息；
23、s3.2.2：细化算法应用：应用细化算法对抓取中心关键点进行微调，直至预测的抓取框接近标注的真值框，即预测的抓取框与标注的真值框的iou小于30％，确保其位置更符合实际抓取需求。
24、步骤4具体为：
25、4.1：特征融合：
26、4.1.1：特征整合：提取到步骤3.1.2和步骤3.2.2细化后的三种特征信息后，首先将三种特征模态数据输入到特征融合模块中的一个3×3的scconv中，以提取浅层特征；接着，将这些浅层特征输入到特征融合器中，通过特征融合模块中的特征融合器按照预定义的权值比例进行融合拼接，其中将这个权值定义为μ1/μ2，设定值为1，然后，将融合拼接的特征输入到卷积注意力模块，得到加权后的拼接融合特征；随后，通过一个3×3的最大池化操作去除多余无用的特征，最终经过全连接层，该全连接层采用relu激活函数；
27、4.1.2：利用特征融合模块，将4.1.1三种整合后的特征信息进行特征融合，通过融合算法获得更高层次、更具表达力的特征表示；
28、4.2：抓取点准确预测：
29、4.2.1预测算法应用：利用预测算法，结合步骤3.1.2融合后的特征，确定最终的抓取点位置，借助神经网络的学习能力实现高精度预测；
30、4.2.2最终抓取点输出：在特征融合和预测算法的协同作用下，生成最终的抓取点预测结果，包括左抓取点、右抓取点和抓取中心关键点。
31、本发明的有益效果是：
32、(1)提高抓取点定位精度
33、gkscconv-net通过特征融合和抓取点细化的创新方法，有效提高了抓取点的定位精度。特征融合利用特征融合模块将不同关键点的特征进行有效整合，为抓取点预测提供更全面、高层次的信息，从而提高了机器人在复杂环境中对抓取位置的准确感知。
34、(2)增强抓取任务的鲁棒性
35、通过引入关键点细化模块，gkscconv-net对抓取点进行细化，提高了其精确性和稳定性。这有助于机器人在面对噪声、遮挡等复杂场景时仍能稳健地执行抓取任务，增强了机器人在实际工作中的鲁棒性。
36、(3)适应不同物体和环境
37、gkscconv-net的设计考虑了不同物体形状和纹理的多样性，通过对抓取中心关键点的细化，使其更准确地反映物体抓取的中心位置。这使得该发明更具通用性，适用于各种形状、尺寸和表面特性的物体，为机器人在不同环境中执行抓取任务提供了更大的适应性。
38、(4)提高机器人任务执行效率
39、由于gkscconv-net在抓取点预测中的高准确性和鲁棒性，机器人在执行抓取任务时能够更迅速、精准地定位抓取点，从而提高了任务执行的效率。这对于生产、物流等领域的自动化流程有着显著的实际应用价值。
1.基于关键点的机器人抓取检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于关键点的机器人抓取检测方法，其特征在于，抓取检测网络通过对n通道输入图像进行处理，包括有三个scconv2d层及三个scconvt2d层，其中，三个scconv2d层用于下采样；三个scconvt2d层用于上采样。
3.根据权利要求1所述的基于关键点的机器人抓取检测方法，其特征在于，步骤2具体为：
4.根据权利要求1所述的基于关键点的机器人抓取检测方法，其特征在于，步骤3具体为：
5.根据权利要求1所述的基于关键点的机器人抓取检测方法，其特征在于，步骤4具体为：
