本发明属于图像处理和人工智能领域,尤其涉及基于jetson tx2对非合作空间目标进行自主识别的方法、系统。
背景技术:
1、随着航天技术的发展,航天任务范围大大扩展,呈现多样化,比如在轨服务、在轨装配、空间碎片移除、编队协作、深空探测、空间对抗等。这些任务对航天器的空间目标态势感知能力提出了较高要求,且受限于通信延时或信号覆盖范围有限,任务航天器往往无法及时获取地面控制中心的数据,需要依靠自身对空间目标进行实时的态势感知,并具备自主抵近能力。
2、空间目标信息获取是空间态势感知首要解决的难题,为适应复杂的太空环境,以微小卫星为平台的天基探测系统逐渐成为研究的重点。目前主流的星载目标检测系统大多为fpga+dsp架构,这种架构的缺点体现在:(1)目标检测的计算过程多为浮点数计算,在fpga上进行计算和处理会导致占用资源庞大,且会对算法性能带来较大的损失;(2)目标检测算法大多数是基于python等高级编程语言开发,与fpga所支持的verilog、vhdl、c语言差异甚大,给算法移植和转换带来了巨大的工作量。
技术实现思路
1、本发明针对现有技术的不足,提供了基于jetson tx2对非合作空间目标进行自主识别的方法、系统,通过网线连接远距相机、近距相机各一台,通过串口连接gnc平台,根据抵近任务中由远及近的远距点目标检测、近距面目标部件分割两大过程,能够自动对相机拍摄到的原始图像进行处理,自动根据距离切换远距与近距算法,自动计算出目标的坐标、视线距、视线角信息,并通过串口发送给gnc平台,完成对空间目标自主抵近过程中的识别与跟踪,应用平台灵活、运算速度快、目标检测正确率高。
2、为了实现上述功能,本发明采用如下技术方案:
3、基于jetson tx2对非合作空间目标进行自主识别的方法,包括以下步骤:
4、s1、相机通过socket传输原始图像数据至tx2,tx2依据约定的数据格式进行解包并将原始数据还原为图像。
5、s2、对远距相机拍摄的图像进行预处理,将背景中较暗的星点全部滤除,再通过opencv库提取四连通域,得到图像中点簇的质心坐标和亮度信息。
6、s3、对近距相机拍摄的图像进行预处理,利用opencv库的图形学闭运算操作,对面目标进行连通域分割,通过opencv库连通域提取方法得到各连通域中心坐标,根据部件相对位置得到目标主体中心坐标,并将坐标通过坐标系转换矩阵转换到惯性坐标系下,计算得出目标的视线角,得到识别结果。
7、s4、对比步骤s2和s3中得到的结果,若目标中心坐标一致,则认为已稳定捕获目标,此时输出步骤s3中得到的识别结果;否则输出步骤s2中得到的坐标和信息。
8、s5、通过基于rs422协议的串口将步骤s4中输出的结果传输到gnc平台。
9、进一步的,步骤s1中,通过以太网线将tx2与两台网口相机进行连接,并基于linux下的socket库建立tx2与网口相机的socket连接,根据约定的数据格式进行图像数据的传输。通过修改系统相关配置文件完成tx2上电自动启动功能。
10、进一步的,步骤s2中,得到点簇的质心坐标和亮度信息包括以下内容:
11、s201、远距图像预处理以滤波和阈值分割为主,旨在滤除大面积趋于平滑的背景,实现对噪声和背景的抑制或消除,尽可能减少背景与噪声对目标探测的干扰,在处理的同时对星点与候选目标进行初步提取,以便后续更快速地识别目标。其中,图像滤波主要目的是抑制星图的噪声,阈值分割目的是分离星点与背景。
12、其中,利用高斯滤波器进行滤波处理,利用经验阈值法进行分割,阈值定义为:
13、tth=e+kfσe
14、其中,tth表示分割阈值,e表示整幅图像所有像元灰度值的平均值,kf表示比例系数,σe表示图像的方差。
15、s202、对图像进行遍历,当像素点的灰度值大于分割阈值的灰度值时:
16、a.若该点左侧或上方存在标记label,则对该标记进行复制;
17、b.若该点左侧及上方存在的标记一致,则对该标记进行复制;
18、c.若该点左侧及上方的标记存在差异,则对上方点的标记进行复制,同时把相应的标记输入等价表作为等价标记;
19、d.其它情况均向该像素点分配新标记,即label+1,同时将新像素点计入等价表。
20、s203、重复步骤s202,直到图像内所有灰度值大于分割阈值的像素点完成扫描。
21、s204、合并处理等价表内标记一致的像素点,同时对其分配新的标记,获得标签一致的星点和目标的集合。
22、s205、利用带阈值质心法提取各连通域质心,判断像素值,具体公式为:
23、
24、其中,i′(x,y)表示质心像素值,i(x,y)表示当前像素值,x表示当前横坐标,y表示当前纵坐标,ts表示固定像素值,t表示预设阈值。
25、s206、结束对像素值的判断后,利用质心法计算星点位置,获得质心坐标,质心法是以像素值作为权重,计算星点面积在x和y方向的一阶矩,具体公式为:
26、
27、其中,x0表示质心横坐标,m表示行数,n表示列数,y0表示质心纵坐标。
28、粗提取出星点与目标后,将星表中的恒星坐标投影到图像平面内,并将各恒星与粗提取的星点进行差值计算,从而将星点进行剔除,从而识别出目标。
29、进一步的,步骤s3中,预处理图像包括以下内容:
30、预处理包括但不限于灰度处理、高斯滤波、归一化、伽马增强、图像分割。
31、其中,图像去噪采用高斯滤波方法,即以高斯分布取权重矩阵,利用该矩阵对图像进行卷积,输出的图像中每一个像素都取周边像素的加权平均值,得到滤波后的图像,具体公式为:
32、
33、
34、其中,g(x,y)表示二维高斯分布;σ表示高斯分布的标准差,决定了平滑效果,标准差越大平滑效果越明显;i表示空间目标观测图像;ig表示滤波后的空间目标观测图像;g表示高斯滤波权重矩阵。
35、采用自动伽马矫正对空间目标图像进行对比度增强处理,使增强后的图像平均灰度向参考值接近,能够有效避免光照不均匀的情况下目标特征被弱化的问题,具体公式为:
36、
37、其中,γ表示伽马增强指数,refavebrt表示平均亮度,x表示滤波后图像的平均值。
38、由于星图具有照明不均匀、易有突发噪声等特性,单一的阈值不能兼顾图像序列的实际变化情况,因此采用自适应阈值分割方法对图像进行处理,具体公式为:
39、
40、其中,(x,y)表示像素点的坐标位置;thresh(x,y)表示像素点的分割阈值;tm表示敏感度,通过信息熵表示;ie(x,y)表示增强后图像;r表示局部窗口的半径,半径尺寸影响阈值分割的效果。
41、遍历图像,比较像素点的灰度值和阈值,当灰度值低于阈值时,将该像素点灰度值置为0,即归类为背景;当灰度值高于阈值时,将该像素灰度值置为1,即归类为目标。具体公式为:
42、
43、其中,g(x,y)表示二值化后的像素值,f(x,y)表示当前像素值。
44、进一步的,步骤s3中,计算目标的视线角包括以下内容:
45、采用形态学运算的方法对图像进行处理。根据原理,先对阈值分割后的图像进行开运算,平滑目标的轮廓、断开较窄的狭颈并消除细长的突出物,如帆板和本体之间的连接三脚架,再采用闭运算的方式填补预处理后得到的图像中的细小孔洞和轮廓线中的断裂,从而完成各部件的分割。通过opencv方法对分割后得到的各部件进行连通域提取,并得到目标主体的中心坐标。
46、利用目标在图像平面下的形心坐标和相机提供的像元尺寸和焦距,根据投影变换将目标从像素坐标转至相机坐标系下,并且计算其视线角。其中,像素坐标系op-uv位于像平面,其原点位于成像平面左上角,u轴指向平行于平面坐标系x轴水平向右,v轴指向垂直y轴向下,其坐标以像素pixel为单位。图像坐标系or-xy为一个二维直角坐标系,其原点在相机光轴(即相机坐标系的zc轴)与成像平面的交点or,即图像的中心点处,x、y轴载成像平面内分别于u、v轴平行。
47、在像素坐标系下,若目标坐标为(up,vp),在不考虑镜头畸变的情况下,其在图像坐标系下的坐标为:
48、
49、其中,(xr,yr)表示目标在图像坐标系下的坐标,dx和dy分别为x轴和y轴上单位像元的尺寸,(u0,v0)表示目标在像素坐标系下的平面中心坐标。
50、对于焦距为f的相机,目标视线角在相机坐标系下以矢量形式表示为:
51、(-f,xc,yc)
52、其中,xc表示相机坐标系横坐标,xc=xr;yc表示相机坐标系纵坐标,yc=yr。
53、将该矢量单位化后表示为:
54、ic=[ix,iy,iz]
55、其中,ic表示单位向量,ix、iy、iz分别表示x、y、z轴上的单位向量。
56、目标在相机坐标系下的水平角、垂直角表示为:
57、
58、其中,α表示水平角,β表示垂直角。
59、进一步的,步骤s5中,jetson tx2通过板载uart模块与综合电子平台进行连接,软件中调用linux下termios库完成对串口波特率、数据位、停止位、奇偶校验位的配置,并根据约定好的数据包格式完成与gnc的数据传输和解析。
60、进一步的,本发明还提出了基于jetson tx2对非合作空间目标进行自主识别的系统,包括:
61、质心坐标和亮度信息获取模块,用于对远距相机拍摄的图像进行预处理,将背景中较暗的星点全部滤除,再通过opencv库提取四连通域,得到图像中点簇的质心坐标和亮度信息。
62、视线角获取模块,用于对近距相机拍摄的图像进行预处理,利用opencv库的图形学闭运算操作,对面目标进行连通域分割,通过opencv库连通域提取方法得到各连通域中心坐标,计算出目标的视线角。
63、识别结果输出模块,用于对比质心坐标和亮度信息获取模块和视线角获取模块中得到的结果,若目标中心坐标一致,则认为已稳定捕获目标,此时进行近距相机图像处理;否则输出远距处理结果。
64、进一步的,本发明还提出了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现前文所述的基于jetson tx2对非合作空间目标进行自主识别的方法的步骤。
65、进一步的,本发明还提出了一种计算机可读的存储介质,所述计算机可读的存储介质存储有计算机程序,所述计算机程序被处理器运行时执行前文所述的基于jetson tx2对非合作空间目标进行自主识别的方法。
66、本发明采用以上技术方案,与现有技术相比,其显著技术效果如下:
67、本发明能够完成对空间目标由远及近、由点到面的识别与跟踪,并输出目标中心坐标与测角信息,作用范围大、识别准确度高,能够辅助任务星完成对空间非合作目标的抵近任务。
1.基于jetson tx2对非合作空间目标进行自主识别的方法,其特征在于,包括:
2.根据权利要求1所述的基于jetson tx2对非合作空间目标进行自主识别的方法,其特征在于,步骤s2中,预处理图像包括以下内容:
3.根据权利要求2所述的基于jetson tx2对非合作空间目标进行自主识别的方法,其特征在于,步骤s2中,提取四连通域包括以下内容:
4.根据权利要求3所述的基于jetson tx2对非合作空间目标进行自主识别的方法,其特征在于,步骤s2中,得到点簇的质心坐标和亮度信息包括以下内容:
5.根据权利要求1所述的基于jetson tx2对非合作空间目标进行自主识别的方法,其特征在于,步骤s3中,预处理图像包括以下内容:
6.根据权利要求1所述的基于jetson tx2对非合作空间目标进行自主识别的方法,其特征在于,步骤s3中,计算目标的视线角包括以下内容:
7.基于jetson tx2对非合作空间目标进行自主识别的系统,其特征在于,包括:
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读的存储介质,所述计算机可读的存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行所述权利要求1至6中任一项所述的方法。