本发明涉及服务机器人,涉及但不限定于一种自动捡球机器人的目标识别定位方法及装置。
背景技术:
1、现有运动场馆的捡球主要依赖人力捡球,或使用依赖人力的捡球工具,所述捡球工具往往消耗人力,使用需要技巧,装置容易损坏,适用范围窄,承装能力差,边角部位难以处理。
2、现有自动捡球类技术存在以下问题:体型较大;运动用球识别方式老旧,难以精准识别;算法往往只针对特定球类,难以泛化,只针对特定的球类;依靠场馆内的其他设施如监控,难以独立运行;算法多依赖双目相机,激光雷达,深度相机等设备较为昂贵。
技术实现思路
1、有鉴于此,本发明实施例提供一种自动捡球机器人的目标识别定位方法及装置。
2、本发明实施例的技术方案是这样实现的:
3、第一方面,本发明实施例提供一种自动捡球机器人的目标识别定位方法,所述方法包括:
4、响应于接收到机器人操作指令,获取摄像机针对运动用球采集的一帧图像进行缩放并输入到已训练的yolov8模型进行目标检测;通过预设的置信度阈值和非极大值抑制算法对检测输出的结果进行筛选,得到目标检测框;根据所述目标检测框的位置信息创建感兴趣区域并通过多边形拟合算法确定所述运动用球在像素坐标系下的重心坐标;从预先生成的图像解算查找表中确定所述重心坐标在机器人中心坐标系下对应的实际坐标;其中,所述图像解算查找表用于表征像素坐标系下的坐标与机器人中心坐标系下的坐标之间的映射关系。
5、第二方面,本发明实施例提供一种自动捡球机器人的目标识别定位装置,包括目标检测模块、检测框筛选模块、拟合计算模块、坐标查找模块和结果输出模块,其中:
6、所述目标检测模块,用于响应于接收到机器人操作指令,获取摄像机针对运动用球采集的一帧图像进行缩放并输入到已训练的yolov8模型进行目标检测;
7、所述检测框筛选模块,用于通过预设的置信度阈值和非极大值抑制算法对检测输出的结果进行筛选,得到目标检测框;
8、所述拟合计算模块,用于根据所述目标检测框的位置信息创建感兴趣区域并通过多边形拟合算法确定所述运动用球在像素坐标系下的重心坐标;
9、所述坐标查找模块,用于从预先生成的图像解算查找表中确定所述重心坐标在机器人中心坐标系下对应的实际坐标;其中,所述图像解算查找表用于表征像素坐标系下的坐标与机器人中心坐标系下的坐标之间的映射关系;
10、所述结果输出模块,用于基于所述实际坐标选择距离机器人最近的球作为最佳目标识别结果输出。
11、第三方面,本发明实施例提供一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的步骤。
12、第四方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的步骤。
13、本发明实施例提供的技术方案带来的有益效果至少包括:
14、在本发明实施例中,首先使用较为先进的yolov8模型作为识别模型,再通过非极大值抑制算法和置信度阈值进行筛选,增加识别结果的准确性,提升边角部位和各类光线干扰部位的检测精准性,而且可以对不同的球进行分类,提升算法的泛化性,用于不同球的检测。其次根据模型识别结果得到感兴趣区域并针对该区域利用传统计算机视觉方式对球类物体在像素坐标系下的位置进行定位,进一步提高检测精度。另外,使用提前生成的图像解算查找表存储像素坐标系下每个像素对应的机器人中心坐标系坐标,节约程序运行过程中的计算开销,提升运算速度。
1.一种自动捡球机器人的目标识别定位方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述预先生成的图像解算查找表是在程序运行初始化阶段通过以下步骤确定的:
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标检测框的位置信息创建感兴趣区域并通过多边形拟合算法确定所述运动用球在像素坐标系下的重心坐标,包括:
4.根据权利要求2所述的方法,其特征在于,所述基于所述相机外参确定所述一帧图像中每一像素点在机器人坐标系下的第二坐标,包括:
5.根据权利要求2所述的方法,其特征在于,所述计算由所述第一坐标与所述第二坐标确定的直线与特定平面之间交点在机器人坐标系下的三维坐标,包括:
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
7.一种自动捡球机器人的目标识别定位装置,其特征在于,所述装置包括目标检测模块、检测框筛选模块、拟合计算模块、坐标查找模块和结果输出模块,其中:
8.一种电子设备,包括存储器、摄像机和处理器,所述摄像机用于实时采集运动用球的图像,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至6任一项所述方法中的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述方法中的步骤。