一种基于机器视觉自动挂标牌的系统及方法与流程

1.本发明涉及挂标牌技术领域，尤其是一种基于机器视觉自动挂标牌的系统及方法。


背景技术：

2.在现有民航管制领域，通过给航空器挂上标牌能极大地提高管制员的情景意识，帮助管制员快速明了地获取航空器的相关信息，如航班号、高度、速度等，从而提高管制运行的效率和安全性。在原有技术体系下，航空器的标牌信息，是将机场电子地图的经纬度与场面监视视频画面的像素点相关联，通过诸如ads
‑
b定位出的航空器经纬度信息换算成视频画面上的像素点信息，确定出航空器在视频画面上的位置，从而将ads
‑
b标牌信息显示在视频画面上与航空器相关联。
3.该传统技术实现方案存在标牌易混淆以及航空器和标牌脱离的问题。由于该传统技术是将标牌直接显示在经纬度转化成的像素点上，当某一区域内航空器较多时，航空器与航空器之间间距较小，也会导致标牌之间间距较小，从而导致管制员分不清标牌与航空器的匹配关系，造成标牌混淆。
4.由于诸如ads
‑
b系统定位出的经纬度与实际的经纬度大多存在误差，从而就会导致推算出的像素点与航空器实际在视频画面上的像素点之前也会存在误差，造成标牌与航空器脱离。除此之外，ads
‑
b的定位信息如果更新不及时，就不能第一时间根据经纬度推算出像素点，实际航空器已经滑走，而标牌还停留在原地，也会造成标牌与航空器脱离。


技术实现要素：

5.针对现有技术中的缺陷，本发明提供了一种基于机器视觉自动挂标牌的系统和系统，其目的在于解决现有技术中标牌混淆、航空器和标牌脱离的问题。
6.第一方面
7.本发明提供了一种基于机器视觉自动挂标牌的系统，包括：
8.全景视频采集模块，用于获取整个机场场面的全景视频数据；
9.业务数据模块，用于存储民航ads
‑
b数据；
10.机器视觉算法服务器，用于运行机器视觉算法模型，识别所述全景视频数据中的航空器，并对所述航空器进行定位和速度识别，得到所述航空器的位置信息和速度信息；
11.业务逻辑服务器，用于解析所述ads
‑
b数据得到标牌数据，并根据所述位置信息实现所述标牌数据与所述航空器的关联。
12.优选地，还包括视频融合显示模块，用于将所述全景视频数据和标牌数据进行融合显示。
13.优选地，所述全景视频采集模块包括：
14.枪机单元，包括n个枪机摄像头；所述枪机摄像头用于拍摄预设位置的视频数据；所述n为自然数；所述n个枪机摄像头可以覆盖整个机场的场面；
15.拼接单元，用于将n个枪机摄像头拍摄的视频数据拼接成整个机场场面的全景视频数据。
16.优选地，所述机器视觉算法服务器包括：
17.视频抽帧单元，用于从所述全景视频数据中抽取图片帧；
18.目标检测与识别单元，用于运行机器视觉算法模型，检测和识别所述图片帧中的航空器，并得到识别结果；
19.视频追踪模型单元，用于根据所述识别结果对所述航空器进行定位和速度识别，得到所述航空器的位置信息和速度信息。
20.优选地，所述业务逻辑服务器包括：
21.ads
‑
b数据解析单元，用于基于ads
‑
b协议解析所述ads
‑
b数据，得到标牌数据；
22.时间同步单元，用于实现所述标牌数据与所述全景视频数据的同步，得到同步后的标牌数据；
23.自动挂标牌单元，用于根据所述位置信息将所述同步后的标牌数据与所述航空器进行自动关联，并得到关联后的标牌数据；
24.业务数据分发单元，用于将所述关联后的标牌数据分发到所述视频融合显示模块；
25.流媒体分发单元，用于将所述全景视频数据分发到所述视频融合显示模块。
26.优选地，所述视频融合显示模块包括：
27.ads
‑
b数据解码单元，用于将关联后的标牌数据进行解码，得到解码后的标牌数据；
28.全景视频解码单元，用于将所述全景视频数据进行解码，得到解码后的全景视频数据；
29.融合显示单元，用于将所述解码后的标牌数据和所述解码后的全景视频数据进行融合显示。
30.第二方面
31.本发明提供了一种基于机器视觉自动挂标牌的方法，包括以下步骤：
32.获取整个机场场面的全景视频数据；所述全景视频数据通过全景视频采集模块获取；
33.运行机器视觉算法模型，识别所述全景视频数据中的航空器，并对所述航空器进行定位和速度识别，得到所述航空器的位置信息和速度信息；
34.解析所述ads
‑
b数据得到标牌数据，并根据所述位置信息实现所述标牌数据与所述航空器的关联。
35.优选地，还包括以下步骤：
36.将所述全景视频数据和所述标牌数据融合显示。
37.本发明的有益效果为：
38.(1)航空器与标牌一一对应
39.全景视频数据输入到机器视觉算法服务器，视频抽帧模块获取每一帧画面，目标检测与识别模型给出对识别到的航空器目标画框的像素坐标以及中心点像素坐标并传入到业务逻辑服务器，自动挂标牌单元将从ads
‑
b获取的标牌数据和对应的航空器进行自动
关联。其中，自动关联是将标牌数据中的经纬度信息和航空器的经纬度信息做对应(航空器经纬度信息通过事先在全景视频场面设定的参考坐标点的经纬度信息，计算得来)，对应成功后，就将所述标牌关联到对应的航空器上；此方法相对于现有技术，由于事先对航空器进行了主动识别，将标牌信息与之绑定，从而避免了航空器众多时标牌混淆，使得航空器与标牌一一对应。
40.(2)航空器与标牌时刻保持跟随
41.现有技术完全依赖于ads
‑
b定位的经纬度信息来推算出在全景视频画面上的像素点位置，而本发明是利用基于人工智能的目标检测与识别模型给出的在全景视频上的像素点位置，精度远高于前者，使得航空器与标牌间距很小。现有技术只能在ads
‑
b更新了航空器的经纬度信息后，才能更新标牌的位置，而本发明对航空器主动识别并绑定标牌后，将标牌的内容显示在目标附近，因此只需更新标牌的内容，而无需更新标牌的位置，从而避免了标牌与航空器脱离，使得航空器与标牌时刻保持跟随。
附图说明
42.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
43.图1为本发明实施例一种基于机器视觉自动挂标牌的系统的结构示意图；
44.图2为本发明实施例全景视频采集模块的结构示意图；
45.图3为本发明实施例机器视觉算法服务器的结构示意图；
46.图4为本发明实施例业务逻辑服务器的结构示意图；
47.图5为本发明实施例视频融合显示模块的结构示意图；
48.图6为本发明实施例一种基于机器视觉自动挂标牌的方法的流程示意图。
具体实施方式
49.下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
50.需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
51.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
53.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上
下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
54.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
55.如图1所示，本发明实施例提供了一种基于机器视觉自动挂标牌的系统，包括：
56.全景视频采集模块，用于获取整个机场场面的全景视频数据；
57.业务数据模块，用于存储民航ads
‑
b数据；
58.机器视觉算法服务器，用于运行机器视觉算法模型，识别全景视频数据中的航空器，并对航空器进行定位和速度识别，得到航空器的位置信息和速度信息；
59.业务逻辑服务器，用于解析ads
‑
b数据得到标牌数据，并根据位置信息实现标牌数据与航空器的关联。
60.本发明实施例还包括视频融合显示模块，用于将全景视频数据和标牌数据进行融合显示。
61.如图2所示，全景视频采集模块包括：
62.枪机单元，包括n个枪机摄像头；枪机摄像头用于拍摄预设位置的视频数据。其中，n为自然数，n个枪机摄像头可以覆盖整个机场的场面；
63.拼接单元，由拼接服务器构成，用于将n个枪机摄像头拍摄的视频数据拼接成整个机场场面的全景视频数据。全景视频数据可以覆盖机场场面全貌，基于机场全景视频数据，管制员可以实时看到机场场面全景情况。
64.本发明实施例中，业务数据模块基于ads
‑
b协议对民航ads
‑
b数据进行封装。业务数据模块用于给出与航空器相关的信息。其中，与航空器相关的信息包括但不限于：起飞机场、目的机场、航空器型号、高度、经度、纬度、速度等信息。
65.如图3所示，机器视觉算法服务器包括：
66.视频抽帧单元，用于从全景视频数据中抽取图片帧，供算法模型使用。其中，图片帧是指可以独立解码的图片帧，包括但不限于：i帧；
67.目标检测与识别单元，用于运行机器视觉算法模型，检测和识别图片帧中的航空器，并得到识别结果；
68.视频追踪模型单元，用于根据识别结果对航空器进行定位和速度识别，并得到航空器的位置信息和速度信息。视频追踪模型单元用于追踪动态的航空器目标，包括起飞的航空器和降落的航空器。动态航空器目标是指起飞或者降落的航空器，起飞的航空器或降落的航空器是通过航空器的姿态来进行判断。航空器的位置信息通过事先在全景视频场面设定的参考坐标点的经纬度信息计算得来；航空器的速度信息通过航空器移动的距离，预计移动上述距离所花费的时间间隔计算得来。
69.如图4所示，业务逻辑服务器包括：
70.ads
‑
b数据解析单元，用于基于ads
‑
b协议解析ads
‑
b数据，获取标牌数据。ads
‑
b数据用于给出和航空器相关的信息，和航空器相关的信息包括但不限于：起飞机场、目的机场、航空器型号、高度、经度、纬度、速度等信息；
71.时间同步单元，用于实现标牌数据与全景视频数据的同步，得到同步后的标牌数据。时间同步是以全景视频的时间为参考，给标牌数据打上时间戳。时间戳包括解码时间戳和显示时间戳，解码时间戳用于给出标牌数据的解码时间，显示时间戳用于给出标牌数据
的显示时间；
72.自动挂标牌单元，用于根据位置信息将同步后的标牌数据与航空器进行自动关联，并得到关联后的标牌数据。自动关联是将标牌数据中的经度、纬度信息和航空器的经度、纬度信息做对应，对应成功后，就将标牌关联到对应的航空器上；
73.业务数据分发单元，用于将关联后的标牌数据分发到视频融合显示模块；
74.流媒体分发单元，用于分发全景视频数据到视频融合显示模块。流媒体分发基于rtsp、rtp协议将全景视频数据推送到视频融合显示客户端。
75.如图5所示，视频融合显示模块包括：
76.ads
‑
b数据解码单元，用于将与航空器进行自动关联的标牌数据进行解码，得到解码后的标牌数据。解码是基于ads
‑
b协议对ads
‑
b数据进行解码。标牌数据包括但不限于：起飞机场、目的机场、航空器型号、高度、经度、纬度、速度等信息。ads
‑
b数据的解码时间由解码时间戳指定，ads
‑
b数据的显示时间由显示时间戳指定；
77.全景视频解码单元，用于将全景视频数据进行解码，得到解码后的全景视频数据。全景视频解码是相对于全景视频编码而言的，枪机单元采集的全景视频数据是经摄像头编码过的，编码一般基于h.264或h.265进行编码；
78.融合显示单元，用于将解码后的标牌数据和解码后的全景视频数据进行融合显示，还可将气象信息和灯光状态信息与解码后的标牌数据、解码后的全景视频数据进行融合显示。
79.本发明实施例还提供了一种基于机器视觉自动挂标牌的方法，如图6所示，包括以下步骤：
80.获取整个机场场面的全景视频数据；全景视频数据通过全景视频采集模块获取；
81.运行机器视觉算法模型，识别全景视频数据中的航空器，并对航空器进行定位和速度识别，得到航空器的位置信息和速度信息；
82.解析ads
‑
b数据得到标牌数据，并根据位置信息实现标牌数据与航空器的关联。
83.将全景视频数据和标牌数据融合显示。
84.机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。本发明实施例中，机器视觉系统是通过全景视频采集模块将被摄取的航空器目标转换成全景视频数据，传送给机器视觉算法服务器，得到被摄航空器的形态信息。根据像素分布、亮度和颜色等信息，转变成数字化信号。业务逻辑服务器对这些数字信号进行各种运算抽取航空器的特征，并根据特征来判别是否为当前想要关注的航空器，进而根据判别的结果控制航空器自动挂标牌。本发明实施例提供的一种基于机器视觉自动挂标牌的系统及方法，可以使标牌与航空器一一对应，并且与航空器时刻保持跟随，可以有效解决现有技术体系下标牌混淆、航空器和标牌脱离的问题。
85.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。