本发明涉及航天测控领域,尤其涉及一种面向出舱航天员的6d位姿实时估计方法及装置。
背景技术:
1、出舱航天员的检测、行为识别和状态监视对于出舱态势显示和空间在轨服务等领域具有重要意义,已经成为国内外航天领域研究的热点问题。
2、从技术手段看,在过去的十几年内,3d视觉经历了从机器人、游戏到vr/ar的巨大发展,这些产品的广泛应用极大的推动了6d物体位姿估计的发展。大多数物体姿态估计器面向特定刚性物体设计,需要物体3d模型来渲染图像以训练模型,典型的算法有gen6d、cosypose、posecnn和gdr-net等。然而,出舱航天员非刚体,使用上述方法无法实现准确的位姿估计。三维人体姿态估计通常将复杂人体简化为模型(例如棍棒模型、圆柱体模型、smpl模型等),然后通过迭代优化模型参数,使得模型特征在各个视图中投影与从图像中提取出的特征逐步匹配优化,其本质为参数估计的最大似然概率问题。典型的人体位姿估计算法有smpl、smpl-x、star等,这些方法模型复杂,且难以适应太空中复杂的环境。
3、从应用特点看,面向航天员出舱这一应用背景,典型基于视觉的6d物体位姿估计难点主要有:一是太空环境光照变化极大,图像的成像质量不一,出舱航天员面临太阳的直射导致受到强反光的影响,且由于外太空整体是黑暗的,但在有部分太阳照到航天员的身体时会出现明显阴阳相间的图像;二是出舱航天员非刚性目标,难以使用单一刚体模型进行匹配;三是出舱航天员不一定全身出现在图像里面,其状态有可能是露头、露半身、露全身,且可能其它物体遮挡住。
技术实现思路
1、本发明提供了一种面向出舱航天员的6d位姿实时估计方法及装置,用于解决现有技术中人体位姿估计算法难以适应太空中复杂的环境的影响而难于估计的问题。
2、所述方法包括:从待分析图像中获得目标对象的中心及边界;所述待分析图像为空间站固定相机或机械臂臂载相机成像图像;所述目标对象为待分析图像中的出舱航天员;
3、将目标对象进行分割以获得多个分割部;
4、估计每一所述分割部的输入图像进而估计所述出舱航天员的初始位姿,再进行优化获得准确位姿。
5、可选的,所述方法还包括:
6、通过人体结构约束、运动约束和场景约束优化所述初始位姿,获得准确位姿。
7、可选的,从待分析图像中获得目标对象的中心及边界包括:
8、从背景数据集中选择第一背景帧,所述第一背景帧与所述待分析图像的图像帧的光度误差最小;所述背景数据集包括不同光照和外部环境下的背景帧;
9、基于所述图像帧与第一背景帧确定所述目标对象的中心及边界。
10、可选的,所述方法还包括:
11、设定阈值;
12、比较所述第一背景帧的像素值和所述图像帧的像素值的绝对差值与阈值的大小,以获取所述待分析图像中位置在 (x, y)像素的像素属性,
13、,
14、式中,的值为1时,所述图像帧的像素值为前景;其值为0时,所述图像帧的像素值为背景;
15、根据所述前景和背景确定背景帧剪影。
16、可选的,基于所述图像帧与第一背景帧确定所述目标对象的中心及边界包括:
17、在所述背景帧剪影上增加尺度外延,以在所述图像帧上获得目标对象的大小 d和中心。
18、可选的,将目标对象进行分割以获得多个分割部包括:
19、通过在deeplab v3上融合通道注意力和空间注意力的分割网络将所述目标对象分割成多个分割部,并通过深度学习框架pytorch 对所述分割网络进行训练;所述分割部包括:头、躯干、大腿、小腿、脚、大臂、小臂和手。
20、可选的,估计每一所述分割部的输入图像进而估计所述出舱航天员的初始位姿包括:
21、通过与模板的匹配以估计所述分割部的输入图像;
22、提取所述输入图像和参考图像的特征图;
23、将每个位姿下参考图像的特征图与输入图像的特征图相乘,得到各位姿下参考图像的分数图;
24、对各分数图进行处理获得第一参考图像位置信息和旋转信息,根据所述第一参考图像。
25、可选的,通过人体结构约束、运动约束和场景约束优化所述初始位姿包括:
26、将航天员关节的位姿定义为状态变量的变量节点,并以人体结构约束、运动约束和场景约束为因子构建因子图,建立误差能量函数;
27、求取误差能量函数的最小值,得到位姿最小二乘意义下的最优估计以优化所述初始位姿。
28、本发明中的一种基于出舱航天员6d位姿实时估计装置,所述装置包括:
29、获取单元,用于从待分析图像中获得目标对象的中心及边界;所述待分析图像为空间站固定相机或机械臂臂载相机成像图像;所述目标对象为待分析图像中的出舱航天员;
30、分割单元, 用于将目标对象进行分割以获得多个分割部;
31、估算单元,用于估计每一所述分割部的输入图像进而估计所述出舱航天员的初始位姿,再通过人体结构约束、运动约束和场景约束优化所述初始位姿,获得准确位姿。
32、本发明中的一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上任意一项所述方法的步骤。
33、本发明基于出舱航天员为刚性体的柔性连接的假设,通过背景帧剪影和语义分割实现目对象的检测与分割;同时结合深度学习和模板匹配的方法实现整体位姿的初始估计,相较于传统基于模板匹配的位姿估计方法,精度更高,适应性更强。解决了出舱航天员的6d位姿估计的问题。本发明实施例有利于提高出舱航天员的6d姿态估计精度,可拓展应用于空间非合作目标的位姿估计,对于出舱态势显示和空间在轨服务具有重要意义。
1.一种面向出舱航天员的6d位姿实时估计方法,其特征在于,所述方法包括:
2.根据权利要求1所述的面向出舱航天员的6d位姿实时估计方法,其特征在于,所述方法还包括:通过人体结构约束、运动约束和场景约束优化所述初始位姿,获得准确位姿。
3.根据权利要求1所述的面向出舱航天员的6d位姿实时估计方法,其特征在于,从待分析图像中获得目标对象的中心及边界包括:
4.根据权利要求3所述的面向出舱航天员的6d位姿实时估计方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的面向出舱航天员的6d位姿实时估计方法,其特征在于,基于所述图像帧与第一背景帧确定所述目标对象的中心及边界包括:
6.根据权利要求1所述的面向出舱航天员的6d位姿实时估计方法,其特征在于,将目标对象进行分割以获得多个分割部包括:
7.根据权利要求1所述的面向出舱航天员的6d位姿实时估计方法,其特征在于,估计每一所述分割部的输入图像进而估计所述出舱航天员的初始位姿包括:
8.根据权利要求2所述的面向出舱航天员的6d位姿实时估计方法,其特征在于,通过人体结构约束、运动约束和场景约束优化所述初始位姿,获得准确位姿包括:
9.一种面向出舱航天员的6d位姿实时估计装置,其特征在于,所述装置包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至8任意一项所述方法的步骤。
