1.本公开涉及人工智能领域，尤其涉及智能交通领域，具体而言，涉及一种交通灯的标注方法、装置、电子设备及路侧计算设备。
背景技术：
2.在车辆进行智能驾驶时，准确识别交通灯，对于车辆安全行驶有着重要的作用。
3.在现有技术中，在进行交通灯灯色识别时，首先需要对环境进行目标检测，从而获取待标注图像，然后检测出待标注图像中的交通灯区域，之后根据检测框的位置获取交通灯的图像并进行灯色识别。
4.但是，在使用夜间数据进行神经网络模型训练时，需要标注员对标注好的数据进行预处理。如果夜间交通灯图像中出现黑灯漏标，则神经网络模型无法自行检测出未标注的黑灯，从而只能通过人工复核的方式检查标注文件中是否存在漏标错误。
技术实现要素：
5.本公开提供了一种交通灯的标注方法、装置、电子设备及路侧计算设备，以至少解决现有技术中交通灯标注效率低的技术问题。
6.根据本公开的一个方面，提供了一种交通灯的标注方法，包括：获取对待标注图像进行标注得到的第一标注结果，其中，待标注图像中至少包含交通灯区域，交通灯区域由多个子灯区域组成，每个子灯区域与交通灯中的灯头对应，交通灯由多个灯头组成，并根据第一标注结果构建数据结构图，从而基于数据结构图对第一标注结果进行调整，得到第二标注结果，进而根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注，得到目标标注结果，其中，目标区域为多个灯头中显示亮度低于预设亮度的灯头所在的区域。
7.进一步地，交通灯的标注方法还包括：获取对待标注图像进行标注的多个标注框，并对多个标注框进行过滤处理，得到多个第一标注框，从而确定多个第一标注框的位置信息以及标识信息，得到第一标注结果。
8.进一步地，交通灯的标注方法还包括：根据第一标注结果中的位置信息确定多个第一标注框之间的距离信息，并根据距离信息确定数据结构图中的边。进而从第一标注结果中获取多个第一标注框的标识信息，得到数据结构图中的顶点，其中，数据结构图由边和顶点组成。
9.进一步地，交通灯的标注方法还包括：根据数据结构图中的边的值确定多个第一标注框对应的至少一个连通域，并根据至少一个连通域从多个第一标注框中确定至少一个第二标注框，其中，至少一个第二标注框属于同一个连通域，从而根据至少一个第二标注框确定至少一个连通域所对应的目标标注框，进而基于目标标注框对第一标注结果进行调整，得到第二标注结果。
10.进一步地，交通灯的标注方法还包括：在边的值大于预设阈值时，确定边对应的两
个第一标注框位于不同的连通域中，并在边的值小于或等于预设阈值时，确定边对应的两个第一标注框位于相同的连通域。
11.进一步地，交通灯的标注方法还包括：获取至少一个第二标注框的中心位置以及边长信息，并计算至少一个第二标注框的中心位置的平均值，得到目标中心点，从而计算至少一个第二标注框的边长信息的平均值，得到目标边长，进而根据目标中心点以及目标边长确定目标标注框。
12.进一步地，交通灯的标注方法还包括：根据第二标注结果确定交通灯区域所包含的灯头的灯头数量，并在灯头数量小于预设数量时，比对历史标注图像的标注结果以及第二标注结果，确定目标区域；对目标区域进行标注，得到目标标注结果。
13.进一步地，交通灯的标注方法还包括：在灯头数量大于或等于预设数量时，确定第二标注结果为目标标注结果。
14.进一步地，交通灯的标注方法还包括：在根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注，得到目标标注结果之后，根据目标标注结果对交通灯区域进行切分处理，得到多个子灯区域，并获取每个子灯区域的亮度值，从而根据亮度值确定每个子灯区域对应的颜色类型。
15.进一步地，交通灯的标注方法还包括：在根据亮度值确定每个子灯区域对应的颜色类型之后，根据每个子灯区域所对应的颜色类型控制车辆的向前行驶或者停止行驶。
16.根据本公开的另一个方面，还提供了一种交通灯的标注装置，包括：获取模块，用于获取对待标注图像进行标注得到的第一标注结果，其中，待标注图像中至少包含交通灯区域，交通灯区域由多个子灯区域组成，每个子灯区域与交通灯中的灯头对应，交通灯由多个灯头组成；构建模块，用于根据第一标注结果构建数据结构图；调整模块，用于基于数据结构图对第一标注结果进行调整，得到第二标注结果；标注模块，用于根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注，得到目标标注结果，其中，目标区域为多个灯头中显示亮度低于预设亮度的灯头所在的区域。
17.根据本公开的另一个方面，还提供了电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的交通灯的标注方法。
18.根据本公开的另一个方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述的交通灯的标注方法。
19.根据本公开的另一个方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述的交通灯的标注方法。
20.根据本公开的另一个方面，还提供了一种自动驾驶车辆，包括：采集单元，用于采集交通灯图像，其中，交通灯图像中至少包含交通灯区域，交通灯区域由多个子灯区域组成，每个子灯区域与交通灯中的灯头对应，交通灯由多个灯头组成；处理单元，用于对交通灯图像进行标注，得到第一标注结果，根据第一标注结果构建数据结构图，并基于数据结构图对第一标注结果进行调整，得到第二标注结果，再根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注，得到目标标注结果，其中，目标区域为多个灯头中显示亮度低于预设亮度的灯头所在的区域；控制单元，用于根据目标标注结果控制自动驾驶车辆向前行驶或者停止行驶。
21.根据本公开的另一个方面,还提供一种路侧计算设备，包括上述电子设备，以及通信单元，通信单元用于将所述目标标注结果向云控平台进行发送。
22.在本公开中，采用根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注的方式，通过获取对待标注图像进行标注得到的第一标注结果，其中，待标注图像中至少包含交通灯区域，交通灯区域由多个子灯区域组成，每个子灯区域与交通灯中的灯头对应，交通灯由多个灯头组成，并根据第一标注结果构建数据结构图，从而基于数据结构图对第一标注结果进行调整，得到第二标注结果，进而根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注，得到目标标注结果，其中，目标区域为多个灯头中显示亮度低于预设亮度的灯头所在的区域。
23.在上述过程中，由于数据结构图是基于对待标注图像进行标注后的第一标注结果构建得到的，因此，各个交通灯区域的相对位置可在数据结构图中呈现，从而神经网络模型可通过数据结构图获取交通灯区域的数量以及位置信息，实现了统计出当前环境中所有的交通灯区域的效果。而且，由于本公开可通过比对历史标注图像的标注结果以及第二标注结果，自动标注出多个灯头中显示亮度低于预设亮度的灯头所在的区域(即黑灯区域)，因此避免了需要人工标注黑灯区域的问题，实现了提高交通灯标注效率的效果。
24.由此可见，本公开所提供的方案达到了避免人工标注交通灯所导致的标注效率低的目的，从而实现了提高交通灯标注效率的技术效果，进而解决了现有技术中交通灯标注效率低问题。
附图说明
25.附图用于更好地理解本方案，不构成对本公开的限定。其中：
26.图1是根据现有技术的一种交通灯的标注方法示意图；
27.图2是根据现有技术的一种交通灯的标注方法示意图；
28.图3是根据本公开实施例1的一种交通灯的标注方法流程图；
29.图4是根据本公开实施例1的一种数据结构示意图；
30.图5是根据本公开实施例2的一种交通灯的标注装置示意图；
31.图6是用来实现本公开实施例的交通灯的标注方法的电子设备的框图。
具体实施方式
32.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
33.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
34.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
35.实施例1
36.根据本公开实施例，提供了一种交通灯的标注方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
37.图3是根据本公开实施例的交通灯的标注方法的流程图，如图3所示，该方法包括如下步骤：
38.步骤s302，获取对待标注图像进行标注得到的第一标注结果。
39.在一种可选的实施例中，在道路环境中，获取待标注图像的传感器或者摄像机是部署在道路两侧并且固定不动的，因此，获取的待标识图像中，交通灯的位置也是固定不动的。其中，待标识图像中至少包含交通灯区域，交通灯区域由多个子灯区域组成，每个子灯区域与交通灯中的灯头对应，交通灯由多个灯头组成。例如，图1是根据现有技术的一种交通灯的标注方法示意图，如图1所示，成像清晰的夜间交通灯图像中可以看到交通灯区域(每个交通灯外围的大框)以及子灯区域(每个交通灯里面的小框)，其中，图1中一共示出了4个交通灯区域，每个交通灯区域中可能有1个子灯区域，也可能有3个子灯区域，本公开实施例不对交通灯内的子灯区域进行限定。待标注图像中除了包含交通灯区域之外，还可以包含其他图像信息，例如，过往车辆、广告牌、建筑以及树木等。
40.可选的，神经网络模型可对待标注图像进行遍历操作，并进行标注，得到第一标注结果，其中，神经网络模型可只选择三灯头的交通灯区域的标注结果，而不需要选择两灯头交通灯区域、灯晕交通灯区域等其他交通灯区域的标注结果，其中，标注结果可以以标注框的形式展示。进一步地，神经网络模型在获取该待标注图像中的交通灯区域的标注框后,可将每个交通灯区域的内容按照如下坐标形式表述：(x_left_top,y_left_top，；x_r ight_down,y_r ight_down，)。其中，x_left_top,y_left_top为标注框的左上顶点坐标，x_r ight_down,y_r ight_down为标注框的右下顶点坐标。
41.在上述过程中，通过对待标注图像进行标注，从而从待标注图像中识别出所需要的交通灯区域，避免了待标注图像中其他交通灯区域的图像信息的干扰。
42.步骤s304，根据第一标注结果构建数据结构图。
43.在一种可选的实施例中，神经网络模型根据第一标注结果，可将待标注图像中的所有的交通灯区域转换为数据结构图。如图4所示，数据结构图就是一些顶点的集合，这些顶点通过一系列的边实现连接，顶点可用圆圈标识，边就是这些圆圈的连线。其中，在该步骤中，神经网络模型可将每个交通灯取悦作为数据结构图中的顶点，每两个交通灯区域的中心点的距离作为图的边。
44.在上述过程中，通过将待标注图像中所有的交通灯区域转换为数据结构图，实现了建立交通灯区域间位置关系的效果。
45.步骤s306，基于数据结构图对第一标注结果进行调整，得到第二标注结果。
46.在一种可选的实施例中，在将待标注图像中的所有的交通灯区域转换为数据结构
图之后，神经网络模型可对第一标注结果进行进一步的调整，首先设置预设阈值，用于判断数据结构图中的交通灯区域之间是否可视为连通，通过计算边的长度，如果边的长度大于预设阈值，则神经网络模型认为该边对应的两个交通灯区域之间是不连通的，两个交通灯区域不处于一个连通域中；如果边的长度小于等于预设阈值，则神经网络模型认为该边对应的两个交通灯区域是连通的，两个交通灯区域处于一个连通域中。神经网络模型还可以使用深度优先搜索的方式获取数据结构图中的连通域个数，每个连通域中的交通灯区域可认为是同一个实际环境下的交通灯区域的标注结果，即第二标注结果。
47.可选的，对于属于同一个连通域中的所有交通灯区域，神经网络模型可计算所有交通灯区域的中心点，并求出均值，例如，在一个连通域中有5个交通灯区域，将5个交通灯区域的中心点的横坐标加和后除以5，得到横坐标的均值；将5个交通灯区域的中心点的纵坐标加和后除以5，得到纵坐标的均值；同时，神经网络模型还可取出所有的交通灯区域的长和宽并求出对应的均值。
48.进一步地，对于每个连通域，根据求出的中心点均值，长均值，宽均值计算得出该连通域的平均框。例如，对于某个相机采集的待标注图像，如果神经网络模型检测发现一共有5个连通域，并计算得出这5个连通域的平均框，则认为该路口在真实条件下一共存在5个交通灯，且确定了每个交通灯的位置信息(即平均框)。
49.在上述过程中，通过构建数据结构图，可将各个交通灯区域的相对位置在数据结构图中呈现，从而能够通过数据结构图来获取交通灯区域的数量以及位置信息，实现了统计出当前环境中所有的交通灯区域的效果。
50.步骤s308，根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注，得到目标标注结果。
51.在一种可选的实施例中，历史标注图像的标注结果可以是之前神经网络模型所获取的标注结果，例如，获取的上一帧标注图像中的标注结果。其中，上述目标区域为多个灯头中显示亮度低于预设亮度的灯头所在的区域，例如，黑灯区域。
52.可选的，当第二标注结果中有5个连通域时，神经网络模型遍历所有的历史标注图像中的标注结果，如果某个历史标注图像中交通灯区域的个数大于等于5个，则不对该历史标注图像做任何处理。如果发现交通灯区域的个数小于5个，则神经网络模型可根据之前计算的平均框，确定缺少的交通灯区域对应哪个平均框，并通过该平均框的位置确定对应的交通灯区域。对于所确定的交通灯区域，神经网络模型可将其分为三个部分(根据步骤s302中神经网络模型获取第一标注结果时，只选择三灯头的交通灯区域的标注结果)，如果是竖方向的交通灯区域，神经网络模型则横方向切割两次，将交通灯区域划分为3部分；如果是横方向的交通灯区域，神经网络模型则竖方向切割两次，将交通灯区域划分为3部分。同时，神经网络模型将分别计算三个部分的平均亮度，如果每个部分都大于一个较大的亮度阈值，或者，每个部分都小于一个较小的亮度阈值，则根据平均框取出交通灯区域并将颜色标注为未知，否则不标注为未知，这主要是由于待标注图像中有可能有并不是黑灯的灯被漏标了，这些交通灯区域不应该被处理为未知灯色。
53.需要注意到的是，如图2所示，在夜间交通灯图像中，有时会由于交通灯的闪烁，导致传感器或者摄像机正好拍摄到处于不亮状态的交通灯，即出现图2中黑灯的情况。另外，由于神经网络模型只能学习已标注的内容，因此神经网络模型无法自行检测出上述图2中
未标注的黑灯的内容，对于这种情况，只能通过人工复核的方式检查标注文件中是否存在黑灯漏标的错误，从而导致了在神经网络模型训练中，交通灯标注效率低的问题。
54.而在本公开实施例中，通过比对历史标注图像的标注结果以及第二标注结果，神经网络模型可自动标注出多个灯头中显示亮度低于预设亮度的灯头所在的区域(即黑灯所在的目标区域)，因此避免了需要人工标注目标区域的问题，实现了提高交通灯标注效率的效果。
55.基于上述步骤s302至s308所限定的方案，可以获知，在本公开实施例中，采用根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注的方式，通过获取对待标注图像进行标注得到的第一标注结果，其中，待标注图像中至少包含交通灯区域，交通灯区域由多个子灯区域组成，每个子灯区域与交通灯中的灯头对应，交通灯由多个灯头组成，并根据第一标注结果构建数据结构图，从而基于数据结构图对第一标注结果进行调整，得到第二标注结果，进而根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注，得到目标标注结果，其中，目标区域为多个灯头中显示亮度低于预设亮度的灯头所在的区域。
56.容易注意到的是，在上述过程中，由于数据结构图是基于对待标注图像进行标注后的第一标注结果构建得到的，因此，各个交通灯区域的相对位置可在数据结构图中呈现，从而神经网络模型可通过数据结构图获取交通灯区域的数量以及位置信息，实现了统计出当前环境中所有的交通灯区域的效果。而且，由于本公开可通过比对历史标注图像的标注结果以及第二标注结果，自动标注出多个灯头中显示亮度低于预设亮度的灯头所在的区域(即黑灯区域)，因此避免了需要人工标注黑灯区域的问题，实现了提高交通灯标注效率的效果。
57.由此可见，本公开所提供的方案达到了避免人工标注交通灯所导致的标注效率低的目的，从而实现了提高交通灯标注效率的技术效果，进而解决了现有技术中交通灯标注效率低问题。
58.在一种可选的实施例中，神经网络模型获取对待标注图像进行标注的多个标注框，并对多个标注框进行过滤处理，得到多个第一标注框，从而确定多个第一标注框的位置信息以及标识信息，得到第一标注结果。
59.可选的，如图2所示，在待标注图像中可能存在多种类型的交通灯区域，每一种交通灯区域中由不同数量的子灯区域组成，例如，交通灯区域可以是三灯头的交通灯区域，也可以是单独倒计时灯的灯晕交通灯区域，或者，两灯头的交通灯区域。其中，神经网络模型可对这些交通灯区域全部进行标注，从而获得了多个标注框，但是，在进行神经网络模型训练时，为了提高训练准确度，需要对不同类型的交通灯区域进行区分，因此，在本公开实施例中，神经网络模型可对多个标注框进行过滤处理，从而选择一个类型的交通灯区域进行训练，例如，选择三灯头的交通灯区域的标注框，过滤两灯头交通灯区域、灯晕交通灯区域等其他交通灯区域的标注框。
60.进一步地，在选择多个第一标注框之后，神经网络模型还将确定多个第一标注框的位置信息以及标识信息，得到第一标注结果，例如，将每个第一标注框通过(x_left_top,y_left_top；x_r ight_down,y_r ight_down)的形式确定位置信息，并为每一个第一标注框标注序号，以便及时定位查找，其中，x_left_top,y_left_top为标注框的左上顶点坐标，
x_right_down,y_r ight_down为标注框的右下顶点坐标。
61.在上述过程中，通过对多个标注框进行过滤处理，得到多个第一标注框，可对一种类型的交通灯区域进行单独标注以及训练，避免了其他不同类型的交通灯区域的干扰，有利于提高交通标注的准确度。
62.在一种可选的实施例中，神经网络模型根据第一标注结果中的位置信息确定多个第一标注框之间的距离信息，并根据距离信息确定数据结构图中的边，从而从第一标注结果中获取多个第一标注框的标识信息，得到数据结构图中的顶点，其中，数据结构图由边和顶点组成。
63.可选的，神经网络模型可根据第一标注结果，将第一标注框转换为数据结构图。其中，神经网络模型可根据第一标注结果中的位置信息确定多个第一标注框之间的距离信息，例如，将两个交通灯区域所对应的第一标注框中的中心点通过线段连接，该直线的长度即为两个第一标注框之间的距离，同时，该线段可为数据结构图中的边。此外，每一个第一标注框可作为数据结构图中的一个顶点。
64.需要注意到的是，通过将待标注图像中所有的第一标注框转换为数据结构图，实现了确定第一标注框的位置关系的效果。
65.在一种可选的实施例中，神经网络模型根据数据结构图中的边的值确定多个第一标注框对应的至少一个连通域，并根据至少一个连通域从多个第一标注框中确定至少一个第二标注框，其中，至少一个第二标注框属于同一个连通域，从而根据至少一个第二标注框确定至少一个连通域所对应的目标标注框，进而基于目标标注框对第一标注结果进行调整，得到第二标注结果
66.可选的，连通域可以是单连通域，也可以是多连通域。神经网络模型可将每个第一标注框作为数据结构图中的顶点，每两个第一标注框的中心点的距离作为数据结构图的边，边的值大于预设阈值时认为两个第一标注框之间不属于同一个连通域，小于或等于预设阈值时，则认为两个第一标注框之间属于同一个连通域，同时，神经网络模型可将同属于同一个连通域中的第一标注框视为第二标注框。其中，一个连通域中可以存在多个第二标注框。
67.进一步地，在至少一个第二标注框的基础上，神经网络模型可计算所有第二标注框的中心点，并求出均值，同时神经网络模型还对所有的第二标注框的长与宽进行求取均值的计算。从而对于每个连通域，神经网络模型根据求出的中心点均值，长均值，宽均值计算出该连通域的平均框(即目标标注框)，即目标标注框。在此基础上，对于某个相机采集的所有图像，如果神经网络模型检测发现一共有5个连通域，并计算得出这5个连通域的平均框，则认为该路口在真实条件下一共存在5个交通灯，且确定了每个交通灯的位置信息(即目标标注框)。
68.通过上述过程，神经网络模型可通过数据结构图中的边确定多个第一标注框是否在一个连通域中，并将一个连通域中的标注框整合为一个目标标注框，以便对第一标注结果进行调整，得到第二标注结果，该过程实现了减少标注工作量，提高标注效率的效果。
69.在一种可选的实施例中，神经网络模型在边的值大于预设阈值时，确定边对应的两个第一标注框位于不同的连通域中，并在边的值小于或等于预设阈值时，确定边对应的两个第一标注框位于相同的连通域。
70.可选的，神经网络模型可通过设置预设阈值，用于判断边对应的两个第一标注框位于不同的连通域中，例如，如果边的长度大于预设阈值，则神经网络模型认为该边对应的两个第一标注框之间是不连通的，两个第一标注框不处于一个连通域中；如果边的长度小于等于预设阈值，则神经网络模型认为该边对应的两个第一标注框是连通的，两个第一标注框处于同一个连通域中。
71.在上述过程中，通过设置预设阈值，实现了将距离相近的第一标注框归纳为同一个连通域中，在保证位置相对准确的同时，有利于减少计算量，提高标注效率。
72.在一种可选的实施例中，获取至少一个第二标注框的中心位置以及边长信息，并计算至少一个第二标注框的中心位置的平均值，得到目标中心点，计算至少一个第二标注框的边长信息的平均值，得到目标边长，从而根据目标中心点以及目标边长确定目标标注框。
73.可选的，神经网络模型可获取至少一个第二标注框的中心位置以及边长信息，并且计算对应的平均值，得到目标中心点以及目标边长。例如，在一个连通域中有5个第二标注框，将5个第二标注框的中心位置的横坐标加和后除以5，得到目标中心点的横坐标的均值；将5个第二标注框的中心位置的纵坐标加和后除以5，得到目标中心点的纵坐标的平均值；同时，神经网络模型还可取出所有的第二标注框的长和宽的长度并求出对应的平均值，从而得到目标标注框的目标中心点以及目标边长。
74.在上述过程中，通过根据目标中心点以及目标边长确定目标标注框，可将同一个连通域中的多个第二标注框归集为目标标注框，用于表示此连通域内交通灯区域所在的位置信息以及标识信息，有利于提高标注效率。
75.在一种可选的实施例中，神经网络模型可根据第二标注结果确定交通灯区域所包含的灯头的灯头数量，在灯头数量小于预设数量时，比对历史标注图像的标注结果以及第二标注结果，确定目标区域，对目标区域进行标注，得到目标标注结果；在灯头数量大于或等于预设数量时，确定第二标注结果为目标标注结果。
76.可选的，当第二标注结果中有5个连通域时，神经网络模型遍历所有的历史标注图像中的标注结果，如果某个历史标注图像中交通灯区域的个数大于等于5个，则不对该历史标注图像做任何处理。如果发现交通灯区域的个数小于5个，则神经网络模型可根据之前计算的平均框，确定缺少的交通灯区域对应哪个平均框，并通过该平均框的位置确定对应的交通灯区域。
77.需要注意到的是，通过比对历史标注图像的标注结果以及第二标注结果，神经网络模型可自动标注出多个灯头中显示亮度低于预设亮度的灯头所在的区域(即黑灯所在的目标区域)，因此避免了需要人工标注目标区域的问题，实现了提高交通灯标注效率的效果。
78.在一种可选的实施例中，神经网络模型可根据目标标注结果对交通灯区域进行切分处理，得到多个子灯区域，并获取每个子灯区域的亮度值，从而根据亮度值确定每个子灯区域对应的颜色类型。
79.可选的，神经网络模型可根据目标标注结果对交通灯区域进行切分处理，得到多个子灯区域，例如，对于三灯头的交通灯区域，神经网络模型可将其分为三个部分，如果是竖方向的交通灯区域，神经网络模型则横方向切割两次，将交通灯区域划分为3部分；如果
是横方向的交通灯区域，神经网络模型则竖方向切割两次，将交通灯区域划分为3部分。同时，神经网络模型将分别计算三个部分的平均亮度，如果每个部分都大于一个较大的亮度阈值，或者，每个部分都小于一个较小的亮度阈值，则根据平均框取出交通灯区域并将颜色标注为未知，否则不标注为未知，这主要是由于待标注图像中有可能有并不是黑灯的灯被漏标了，这些交通灯区域不应该被处理为未知灯色。
80.另外，神经网络模型还可根据亮度值确定每个子灯区域对应的颜色类型，例如，交通灯中的红色、黄色以及绿色。
81.在上述过程中，神经网络模型可对待标注图像中的交通灯区域进行切割处理，从而识别出子灯区域对应的颜色，实现了准确判断交通灯当前所处状态的效果。
82.在一种可选的实施例中，车辆中的电子设备可根据每个子灯区域所对应的颜色类型控制车辆的向前行驶或者停止行驶。
83.其中，神经网络模型经过训练后，可部署在车辆中的电子设备上，从而，电子设备可根据每个子灯区域对应颜色类型控制车辆的行驶，其中，颜色类型表征了当前交通灯是否可以通行，例如，红色代表停止行驶，绿色代表向前行驶。
84.通过上述过程，实现了提高车辆行驶安全性的效果，降低了交通事故发生的风险。
85.由于数据结构图是基于对待标注图像进行标注后的第一标注结果构建得到的，因此，各个交通灯区域的相对位置可在数据结构图中呈现，从而神经网络模型可通过数据结构图获取交通灯区域的数量以及位置信息，实现了统计出当前环境中所有的交通灯区域的效果。而且，由于本公开可通过比对历史标注图像的标注结果以及第二标注结果，自动标注出多个灯头中显示亮度低于预设亮度的灯头所在的区域(即黑灯区域)，因此避免了需要人工标注黑灯区域的问题，实现了提高交通灯标注效率的效果。
86.实施例2
87.根据本公开实施例，还提供了一种交通灯的标注装置实施例，其中，图5根据本公开实施例2的一种交通灯的标注装置示意图，该装置包括：获取模块501，用于获取对待标注图像进行标注得到的第一标注结果，其中，待标注图像中至少包含交通灯区域，交通灯区域由多个子灯区域组成，每个子灯区域与交通灯中的灯头对应，交通灯由多个灯头组成；构建模块503，用于根据第一标注结果构建数据结构图；调整模块505，用于基于数据结构图对第一标注结果进行调整，得到第二标注结果；标注模块507，用于根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注，得到目标标注结果，其中，目标区域为多个灯头中显示亮度低于预设亮度的灯头所在的区域。
88.需要说明的是，上述获取模块501、构建模块503、调整模块505以及标注模块507对应于上述实施例中的步骤s302至步骤s308，四个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
89.可选的，上述获取模块还包括：第一获取模块、过滤模块以及确定模块。其中，第一获取模块，用于获取对待标注图像进行标注的多个标注框；过滤模块，用于对多个标注框进行过滤处理，得到多个第一标注框；确定模块，用于确定多个第一标注框的位置信息以及标识信息，得到第一标注结果。
90.可选的，上述构建模块还包括：第一确定模块、第二确定模块以及第二获取模块。其中，第一确定模块，用于根据第一标注结果中的位置信息确定多个第一标注框之间的距
离信息；第二确定模块，用于根据距离信息确定数据结构图中的边；第二获取模块，用于从第一标注结果中获取多个第一标注框的标识信息，得到数据结构图中的顶点，其中，数据结构图由边和顶点组成。
91.可选的，上述调整模块还包括：第三确定模块、第四确定模块、第五确定模块以及第一调整模块。其中，第三确定模块，用于根据数据结构图中的边的值确定多个第一标注框对应的至少一个连通域；第四确定模块，用于根据至少一个连通域从多个第一标注框中确定至少一个第二标注框，其中，至少一个第二标注框属于同一个连通域；第五确定模块，用于根据至少一个第二标注框确定至少一个连通域所对应的目标标注框；第一调整模块，用于基于目标标注框对第一标注结果进行调整，得到第二标注结果。
92.可选的，交通灯的标注装置还包括：第六确定模块以及第七确定模块。其中，第六确定模块，用于在边的值大于预设阈值时，确定边对应的两个第一标注框位于不同的连通域中；第七确定模块，用于在边的值小于或等于预设阈值时，确定边对应的两个第一标注框位于相同的连通域。
93.可选的，交通灯的标注装置还包括：第二获取模块、第一计算模块、第二计算模块以及第八确定模块。其中，第二获取模块，用于获取至少一个第二标注框的中心位置以及边长信息；第一计算模块，用于计算至少一个第二标注框的中心位置的平均值，得到目标中心点；第二计算模块，用于计算至少一个第二标注框的边长信息的平均值，得到目标边长；第八确定模块，用于根据目标中心点以及目标边长确定目标标注框。
94.可选的，交通灯的标注装置还包括：第九确定模块、第十确定模块以及第一标注模块。其中，第九确定模块，用于根据第二标注结果确定交通灯区域所包含的灯头的灯头数量；第十确定模块，用于在灯头数量小于预设数量时，比对历史标注图像的标注结果以及第二标注结果，确定目标区域；第一标注模块，用于对目标区域进行标注，得到目标标注结果。
95.可选的，交通灯的标注装置还包括：第十一确定模块，用于在灯头数量大于或等于预设数量时，确定第二标注结果为目标标注结果。
96.可选的，上述标注模块还包括：切分模块、第三获取模块以及第十二确定模块。其中，切分模块，用于根据目标标注结果对交通灯区域进行切分处理，得到多个子灯区域；第三获取模块，用于获取每个子灯区域的亮度值；第十二确定模块，用于根据亮度值确定每个子灯区域对应的颜色类型。
97.可选的，交通灯的标注装置还包括：控制模块，用于根据每个子灯区域所对应的颜色类型控制车辆的向前行驶或者停止行驶。
98.实施例3
99.根据本公开实施例的另一方面，还提供一种自动驾驶车辆，包括：采集单元，用于采集交通灯图像，其中，交通灯图像中至少包含交通灯区域，交通灯区域由多个子灯区域组成，每个子灯区域与交通灯中的灯头对应，交通灯由多个灯头组成；
100.处理单元，用于对交通灯图像进行标注，得到第一标注结果，根据第一标注结果构建数据结构图，并基于数据结构图对第一标注结果进行调整，得到第二标注结果，再根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注，得到目标标注结果，其中，目标区域为多个灯头中显示亮度低于预设亮度的灯头所在的区域。处理单元可执行上述实施例1中的交通灯的标注方法。
101.控制单元，用于根据目标标注结果控制自动驾驶车辆向前行驶或者停止行驶。
102.在本公开实施例中，采用根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注的方式，通过获取对待标注图像进行标注得到的第一标注结果，其中，待标注图像中至少包含交通灯区域，交通灯区域由多个子灯区域组成，每个子灯区域与交通灯中的灯头对应，交通灯由多个灯头组成，并根据第一标注结果构建数据结构图，从而基于数据结构图对第一标注结果进行调整，得到第二标注结果，进而根据历史标注图像的标注结果以及第二标注结果对交通灯区域中的目标区域进行标注，得到目标标注结果，其中，目标区域为多个灯头中显示亮度低于预设亮度的灯头所在的区域。
103.容易注意到的是，由于通过在对待标注图像进行标注得到第一标注结果之后，会根据第一标注结果构建数据结构图，并基于数据结构图对第一标注结果进行调整，得到第二标注结果，因此，可将各个交通灯区域的相对位置在数据结构图中呈现，从而神经网络模型可获取交通灯区域的数量以及位置信息，实现了统计出当前环境中所有的交通灯区域的效果。而且，由于本公开可通过比对历史标注图像的标注结果以及第二标注结果，自动标注出多个灯头中显示亮度低于预设亮度的灯头所在的区域(即目标区域)，因此避免了需要人工标注目标区域的问题，实现了提高交通灯标注效率的效果。
104.由此可见，本公开所提供的方案达到了避免人工标注交通灯的目的，从而实现了提高交通灯标注效率的技术效果，进而解决了现有技术中交通灯标注效率低问题。
105.实施例4
106.根据本公开实施例的另一方面，还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述实施例1中的交通灯的标注方法。
107.实施例5
108.根据本公开实施例的另一方面，还提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述实施例1中的交通灯的标注方法。
109.实施例6
110.根据本公开实施例的另一方面，还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例1中的交通灯的标注方法。
111.图6示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
112.如图6所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
113.设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
114.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如交通灯的标注方法。例如，在一些实施例中，交通灯的标注方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的交通灯的标注方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行交通灯的标注方法。
115.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
116.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
117.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的
反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
118.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
119.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
120.实施例7
121.根据本公开实施例的另一方面，还提供一种路侧计算设备，包括上述实施例6中的电子设备，以及通信单元，通信单元用于将目标标注结果向云控平台进行发送。
122.可选的，电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算。可选的，电子设备自身也可以具备感知数据获取功能和通信功能，此时电子设备即为路侧计算设备，例如是ai相机，电子设备可以直接基于获取的感知数据进行图像视频处理和数据计算。
123.可选的，云控平台也可以称为车路协同管理平台、边缘计算平台、云计算平台、中心系统、云端服务器等。
124.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
125.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
转载请注明原文地址:https://win.8miu.com/read-1057794.html
