一种标签建图方法、装置、设备及存储介质与流程

专利检索2022-05-10  43



1.本发明实施例涉及无线定位技术领域,尤其涉及一种标签建图方法、装置、设备及存储介质。


背景技术:

2.随着人工智能领域的迅猛发展,机器人在越来越多的场景中得到广泛应用,例如,配送机器人、消毒机器人、接待机器人以及扫地机器人等。
3.机器人在正式使用之前或者运行环境变化时,需要建立或更新地图,以使得使用时能够准确定位。即时定位与地图构建(simultaneous localization and mapping,slam)是实现机器人在未知环境定位或建图的方法,slam中常用方法包括视觉slam和激光slam,其中,视觉slam以其低成本的优势得以广泛的应用。举例来说,可以在机器人的运行环境,例如餐厅内顶部的天花板、横梁等位置设置定位标签,在机器人顶部设置标签检测器,通过遍历标签上的定位标识以及确定各定位标识对应的坐标,即可完成运行环境的中的标签建图。
4.上述标签建图方式中,为了减少因标签张贴错误或者机器人误识别导致的定位不准确的问题,往往需要对机器人检测到的标签一一进行人工校对,人力成本高且建图效率低。


技术实现要素:

5.本发明实施例提供一种标签建图方法、装置、设备及介质,通过标签图像中包含标签的属性信息,得到标签的置信度,便于根据置信度进行机器人地图中的标签添加,提高标签建图的准确度,降低了标签校核的人力成本。
6.第一方面,本发明实施例提供了一种标签建图方法,所述方法包括:
7.在标签区域中进行图像采集,获取至少一幅标签图像;所述标签图像中包括至少一个标签;
8.对所述标签图像进行识别,获取所述标签图像中标签的属性信息;
9.根据所述属性信息,得到目标标签及其置信度。
10.第二方面,本发明实施例提供了一种标签建图方法,应用于机器人或控制终端,所述方法包括:
11.获取机器人在标签区域内采集到的标签的属性信息和置信度,所述属性信息包括标签位置信息;
12.在机器人驶出标签区域时,根据所述置信度,确定待添加标签,并将所述待添加标签的属性信息添加至机器人地图中。
13.第三方面,本发明实施例还提供了一种标签建图系统,所述系统包括机器人和控制终端,所述机器人和控制终端通信连接;
14.所述机器人用于执行本发明任意实施例提供的标签建图方法;
15.所述控制终端用于执行本发明实施例四提供的标签建图方法。
16.第四方面,本发明实施例还提供了一种标签建图装置,所述装置包括:
17.标签图像获取模块,用于在标签区域中进行图像采集,获取至少一幅标签图像;所述标签图像中包括至少一个标签;
18.属性确定模块,用于对所述标签图像进行识别,获取所述标签图像中标签的属性信息;
19.置信度计算模块,用于根据所述属性信息,得到目标标签及其置信度。
20.第五方面,本发明实施例还提供了一种标签建图装置,所述装置包括:
21.置信度获取模块,用于获取机器人在标签区域内采集到的标签的属性信息和置信度,所述属性信息包括标签位置信息;
22.标签添加模块,用于在机器人驶出标签区域时,根据所述置信度,确定待添加标签,并将所述待添加标签的属性信息添加至机器人地图中。
23.第六方面,本发明实施例还提供了一种电子设备,包括:
24.一个或多个处理器;
25.存储器,用于存储一个或多个程序;
26.当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例提供的标签建图方法。
27.第七方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例提供的标签建图方法。
28.本发明实施例的技术方案,通过在标签区域中进行图像采集,获取至少一幅标签图像,进而对标签图像进行识别,获取标签图像中标签的属性信息,最终根据属性信息,得到目标标签及其置信度,便于根据标签置信度将标签添加至机器人地图,减少了由于机器人误识别或者标签张贴错误带来的建图错误,提高标签建图准确度的同时,降低了标签核验的人力成本。
附图说明
29.图1是本发明实施例一中的一种标签建图方法的流程图;
30.图2a是本发明实施例二中的一种标签建图方法的流程图;
31.图2b是本发明实施例二中的一种标签识别的示意图;
32.图3是本发明实施例三中的一种标签建图方法的流程图;
33.图4是本发明实施例四中的一种标签形状的示意图;
34.图5是本发明实施例五中的一种标签建图系统的结构示意图;
35.图6是本发明实施例六中的一种标签建图装置的结构示意图;
36.图7是本发明实施例七中的一种标签建图装置的结构示意图;
37.图8是本发明实施例八提供的一种设备的结构示意图。
具体实施方式
38.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便
于描述,附图中仅示出了与本发明相关的部分而非全部结构。
39.实施例一
40.图1为本发明实施例一中的一种标签建图方法的流程图,本实施例的技术方案适用于根据标签图像中包含标签的属性信息,得到标签置信度的情况,该方法可以由标签建图装置执行,该装置可以由软件和/或硬件来实现,并可以集成在各种通用计算机设备中。本实施例中的标签建图方法,具体包括如下步骤:
41.步骤110、在标签区域中进行图像采集,获取至少一幅标签图像;标签图像中包括至少一个标签。
42.其中,标签用于进行机器人的无线定位,具体的,标签可以是预先设置在机器人所在区域中的包含特定标识信息的标志物,机器人可以在运行过程中通过识别标签来进行定位,例如,不同数量和位置组合的特殊反光材料做的圆形标识。示例性的,机器人在运行过程中通过摄像头进行图像拍摄,并通过识别拍摄图片中的标签来确定自身位置信息;标签图像是机器人采集的包含标签的图像;标签区域是机器人能够采集到标签图像的区域,一般情况下,不同标签区域所对应的标签不同,例如,标签a可以是粘贴在天花板上的特定排列的圆形标识集,机器人可以通过自身携带的摄像头进行图像采集,机器人能够采集到包含标签a的标签图像的区域即为与标签a对应的标签区域。
43.本实施例中,机器人需要在预先设置标签的定位环境中运动,并在运动过程中进行图像采集,最终将采集图像中包含的标签添加至机器人地图中,以完成基于标签的环境地图构建,便于后续机器人在上述定位环境中根据标签进行运动和定位。具体的,机器人根据用户指令开始在定位环境中运动,并在运动过程中通过设定的频率进行图像采集,当检测到机器人进入标签区域时,继续在标签区域中进行图像采集,并将在标签区域中采集到的包含标签的图像确定为标签图像,每个标签图像中包含至少一个标签。其中,可以在机器人连续设定次数采集到包含标签的图像时,确定机器人进入标签区域,避免依据单次采集进行确定可能造成的误判,设定次数可以根据需要进行设置,例如3次、5次等。
44.示例性的,当机器人在点a附近处开始连续采集到10帧包含标签的图像时,认为机器人进入了标签区域,则将机器人在点a附近处开始采集到的包含标签的图像确定为标签图像,用于进行标签建图。
45.步骤120、对标签图像进行识别,获取标签图像中标签的属性信息。
46.其中,标签的属性信息可以包括标签id(identity document,身份标识号)、标签形状、标签位置信息以及标签颜色等信息中的一个或多个,只要能够识别确定对应的标签即可。例如,当每个标签对应的形状不同时,属性信息可以只包括标签形状,形状不同既可以是有的标签为正方形,有的为长方形,也可以是都为圆形,但包含的圆形标识数量和相对位置不同;当存在多个标签形状相同,但对应的颜色不同时,属性信息包括标签形状和标签颜色;可以理解的是,标签形状,和/或,标签颜色可以跟标签id相对应,用于分辨并表示各个标签,便于用户清晰查看。
47.本实施例中,在标签区域中采集到标签图像后,对标签图像进行图像识别,获取标签图像的属性信息。具体的,通过对标签图像进行识别,获取标签图像中包含标签id、标签位置信息等信息。值得注意的是,标签位置信息可以是根据机器人搭载的图像采集单元的采集角度、采集范围以及机器人的位置信息计算得到。机器人的位置信息可以根据机器人
的初始位置、里程数据、imu(inertial measurement unit,惯性测量单元)数据等得到。
48.示例性的,通过对采集到的标签图像进行识别,获取标签图像中包含的标签id为1200,并根据机器人顶部的摄像头角度、摄像头采集范围以及机器人采集到当前标签图像时所在的位置信息计算标签位置信息。
49.步骤130、根据属性信息,得到目标标签及其置信度。
50.其中,标签的置信度是指机器人通过标签图像分析得到的标签与实际标签相同的几率,识别到的标签的置信度越高,表示本次识别到的标签与实际标签相同的概率越高。
51.本实施例中,为了避免因光线或者采集角度等偶然因素导致的标签误识别的情况,根据标签的属性信息,得到目标标签及其置信度,以便根据置信度进行标签添加,降低标签识别错误率,具体的,可以根据标签id将标签区域中包含相同标签的标签图像分为一类,并统计各类别标签图像的数量,当某一类标签图像的数量大于设定的数量阈值时,将该类标签图像对应的标签确定为目标标签,通过设定数量阈值,可以避免单次采集误差造成的噪声干扰,数量阈值可以是10帧、20帧等。实际定位过程中,一个标签区域应只能采集到一个标签,通过这个标签可以实现机器人定位,但由于光线或采集角度等问题,在标签建图过程中,一个标签区域中可能会识别到两个或两个以上的目标标签,为了提高标签识别准确度,将识别正确的标签加入至机器人地图同时舍弃识别错误的标签,可以通过进一步计算目标标签的置信度,以使控制终端可以根据置信度来确定与当前标签区域匹配的唯一标签,并将唯一标签添加至机器人地图。可以是根据各类别标签图像在标签区域对应的全部标签图像中的占比得到标签的置信度,占比越高的标签置信度越高。可以理解的是,当机器人在标签正下方进行图像采集时,采集到的图像比较完整,包含的噪声较少,准确度较高。因此,当属性信息包括标签位置信息时,可以根据标签与机器人的相对位置信息得到标签的置信度,越靠近标签正下方采集到的标签置信度越高。当然,也可以是根据标签与机器人的相对位置信息和各类别标签图像在标签图像总数量中的占比共同得到标签的置信度。
52.值得注意的是,得到目标标签及其置信度的时机可以是机器人走出标签区域,获取到标签区域中的全部标签图像后,也可以是机器人在标签区域的行驶过程中。具体的,机器人在行驶过程中根据设定频率进行标签图像采集,每采集一张标签图像都会进行标签图像中包含标签的属性信息识别操作,在机器人每行驶设定距离、设定时长或者采集到设定数量的标签图像后(此时机器人并未走出标签区域),根据机器人进入标签区域开始到当前时间为止采集到的标签图像进行统计处理,得到目标标签及其置信度,相较于走出标签区域再进行数据处理,能够分散数据处理的压力。
53.示例性的,机器人每行驶0.5米,会对机器人自进入标签区域开始采集到的标签图像进行类别划分或更新,将包含标签id相同的标签图像划分为一类标签,当出现类别a的标签图像(包含标签id为1200的标签图像)的数量超过30时,将类别a标签图像对应的标签1200确定为目标标签,并根据类别a标签图像在当前标签区域采集到的标签图像中数量占比确定标签1200的置信度,上述数量占比越高,标签1200的准确度越高。
54.本发明实施例的技术方案,通过在标签区域中进行图像采集,获取至少一幅标签图像,进而对标签图像进行识别,获取标签图像中标签的属性信息,最终根据属性信息,得到目标标签及其置信度,便于根据标签置信度将标签添加至机器人地图,减少了由于机器人误识别或者标签张贴异常带来的建图错误,提高标签建图准确度的同时,降低了标签核
验的人力成本。
55.实施例二
56.图2a为本发明实施例二中的一种标签建图方法的流程图,本实施例在上述实施例的基础上进一步细化,提供了根据属性信息,得到目标标签及其置信度的具体步骤。下面结合图2a对本发明实施例二提供的一种标签建图方法进行说明,包括以下步骤:
57.步骤210、在标签区域中进行图像采集,获取至少一幅标签图像;标签图像中包括至少一个标签。
58.步骤220、对标签图像进行识别,获取标签图像中标签的属性信息。
59.步骤230、根据属性信息对标签图像进行分类,得到各类别标签图像的数量。
60.本实施例中,在获取到标签图像中标签的属性信息后,为了避免因拍摄光线或者拍摄角度因素导致的标签识别错误的情况,提高在机器人地图中添加标签的准确率,进一步根据属性信息,例如标签id对标签图像进行类别划分,得到各类别标签图像的数量,以根据各类别标签数量来确定识别到的标签是否达到添加至机器人地图的初步条件,具体的,可以是将包含相同标签的标签图像划分为同一类别,并统计各类别的标签图像的数量。
61.根据属性信息对标签图像进行分类,得到各类别标签图像的数量,包括:
62.在标签区域中按预设的统计规则,根据属性信息,对该标签区域内的标签图像进行分类,得到各类别标签图像的数量。
63.本实施例中,提供了一种根据属性信息对标签图像进行分类,得到各类别标签图像的数量的方式,具体的,在标签区域中按照预设的统计规则,根据标签的属性信息,例如标签id,对该标签区域内的标签图像进行分类,并得到各类别的标签图像的数量,其中,预设的统计规则是指预先设定的统计周期,示例性的,机器人在标签区域中每前进0.5米对标签图像进行一次分类和统计,也可以是机器人在标签区域每行驶1秒,对标签图像进行一次分类和统计,还可以是机器人每采集到50帧标签图像,对标签图像进行一次分类和统计,标签图像的统计范围是自机器人进入标签区域起到上述周期结束时刻为止的标签图像。
64.步骤240、根据目标类别的标签图像的数量和目标类别的标签图像中目标标签的属性信息,得到目标标签的置信度。
65.本实施例中,统计得到各类别的标签图像的数量后,可以将数量大于设定阈值的一类标签图像作为一类目标类别的标签图像,根据各目标类别的标签图像的数量和目标类别的标签图像中目标标签的属性信息,得到目标标签的置信度。具体的,可以根据目标类别的标签图像的数量在对应标签区域采集的全部标签图像数量中的占比,以及目标类别的标签图像中目标标签的标签位置信息,共同得到目标标签的置信度,最终实现根据置信度进行标签添加,提高标签建图的准确度。其中,可以基于各目标标签图像的采集角度、机器人的采集范围以及机器人的位置信息、标签图像中的标签所在区域来估算目标标签的标签位置信息。举例来说,可以根据机器人的位置信息、图像采集装置的高度、对应的采集角度以及标签张贴的高度可以估算对应采集的图片对应天花板上的区域范围,以及该区域对应于机器人地图上的坐标范围,得到标签的大概位置信息。再基于标签在标签图像中的区域,例如左、中、右、上、下等,估算标签位置信息。进一步的,为提高位置信息的准确度,对基于各目标标签图像估算的目标标签的标签位置信息求取平均值,将得到平均位置信息作为目标标签的最终位置信息。还可以通过kmeans聚类算法进行是否出现标签的判断,以及标签id
的识别以及标签信息的确定。其中,根据imu数据可以得到机器人的当前位置信息;标签的标签位置信息可以根据摄像头角度、摄像头可视范围、机器人位置等信息,粗略估计出每张图片中标签的位置x1,x2
……
。然后,根据kmeans聚类算法对粗略估计出的位置进行聚类,可以得到该标签对应的精准位置,进而得到标签与机器人之间的相对位置关系。
66.可选的,属性信息还包括标签位置信息;
67.根据目标类别的标签图像的数量和目标类别的标签图像中目标标签的属性信息,得到目标标签的置信度,包括:
68.当至少一个类别的标签图像的数量大于设定数量阈值时,将该类别标签图像作为目标类别的标签图像,并将目标类别的标签图像对应的标签确定为目标标签;
69.根据目标类别的标签图像在标签区域内已采集到标签图像中的占比,以及机器人与目标标签的相对位置关系,计算目标标签的置信度;相对位置关系根据机器人的位置信息和目标标签的标签位置信息确定。
70.本可选的实施例中,提供一种根据目标类别的标签图像的数量和目标类别的标签图像中目标标签的属性信息,得到目标标签的置信度的具体方式,首先,当统计得到至少一个类别的标签图像的数量大于设定数量阈值时,将该类别的标签图像作为目标类别的标签图像,同时将目标类别的标签图像中包含的标签确定为目标标签。只将数量大于设定数量阈值的一类或者多类标签图像对应的标签确定为目标标签,实现标签的预筛选,降低了后续计算置信度的数据处理压力,提高标签建图的效率。然后,根据目标类别的标签图像在对应标签区域内已采集的标签图像中的占比,以及机器人与目标标签的相对位置关系,计算目标标签的置信度。其中,相对位置关系根据机器人的位置信息和目标标签的标签位置信息确定,可以表征机器人携带的图像采集单元是在标签的哪一方位采集的,越靠近标签正下方采集的标签图像对应的标签置信度越高。示例性的,可以将标签位置的中心点向地面作垂线,与地面相交于一地面点,根据机器人图像采集装置的中心位置点、标签位置的中心点以及地面点形成夹角得到标签的置信度。例如,夹角小于等于10
°
,置信度高;夹角大于10
°
小于等于20
°
,置信度中,夹角大于20
°
,置信度低。也可以根据夹角的大小对置信度的高低进行数值量化。
71.示例性的,如图2b所示,预先在机器人所在环境的天花板上设置标签a、标签b和标签c,其中标签a的id是1000,标签b的id是1200,标签c的id是1400,机器人从p1点开始按照每秒1米的速度匀速运动,在运动过程中机器人顶部设置的摄像头按照50赫兹的频率进行拍摄,在机器人由p1运动到p2期间,采集到的图像中不包含标签,从p2开始机器人采集到包含标签的图像,并且在连续采集到的10帧包含标签的图像时,确定机器人进入标签区域,并进行标签图像的采集,机器人每行驶2米,进行一次标签图像的统计,即按照标签图像中包含标签的标签id对图像标签进行分类,得到各类标签的数量,并在统计得到包含标签a的标签图像的数量大于30时,将其确定为目标类别的标签图像,同时,目标类别的标签图像中包含的标签a作为目标标签,进一步的,由于一个标签区域中只包含唯一标签,为避免因机器人识别错误在一个标签区域中识别到多个标签(例如,识别到两个目标标签,标签a和标签b),而导致在机器人地图中添加了错误标签的情况,需要对识别到的目标标签计算置信度,具体的,首先根据目标类别的标签图像在标签区域内已采集到标签图像中的占比,得到或更新目标标签的数量分值,例如,标签a占比为65%,标签b的占比为30%,则标签a的数量分
值较高。还根据机器人与目标标签的相对位置关系,得到目标标签的位置分值(越靠近标签正下方采集的标签图像对应的标签的置信度越高),最终将数量分值和位置分值进行加权求和,得到目标标签的置信度。
72.本发明实施例的技术方案,在标签区域中进行图像采集,获取至少一幅标签图像,并对标签图像进行识别,获取标签图像中标签的属性信息,进而根据属性信息对标签图像进行分类,得到各类别标签图像的数量,最终根据目标类别的标签图像的数量和目标类别的标签图像中目标标签的属性信息,得到目标标签的置信度,综合各类别标签对应的标签图像数量和标签的属性信息来得到标签的置信度,可以将标签区域中置信度较高的标签添加至机器人地图,相较于现有技术中将识别到的全部标签添加至机器人地图,避免了因机器人误识别导致的标签添加错误的情况,提高了标签建图的准确度。
73.实施例三
74.图3为本发明实施例三中的一种标签建图方法的流程图,本实施例在上述实施例的基础上进一步细化,提供了在标签区域中进行图像采集,获取至少一幅标签图像的具体步骤。下面结合图3对本发明实施例三提供的一种标签建图方法进行说明,包括以下步骤:
75.步骤310、基于预设图像采集频率进行图像采集,并判断采集到的图像中是否包含标签。
76.本实施例中,机器人通过顶部携带的图像采集单元,按照预设图像采集频率进行图像采集,每采集到一帧图像对图像进行识别,判断图像中是否包含标签,或者每采集到设定数量的图像,统一进行识别,判断采集到的图像中是否包含标签。
77.步骤320、当连续采集到设定数量包含标签的图像时,确定机器人进入标签区域,并在标签区域内采集至少一幅包含标签的标签图像;标签图像中包括至少一个标签。
78.本实施例中,当机器人对采集到的图像进行识别,确定连续采集到设定数量的包含标签的图像时,确定机器人进入标签区域,进而在标签区域中按照设定图像采集频率采集包含标签的标签图像,其中,标签图像中包括至少一个标签。示例性的,当检测到机器人连续采集到10帧包含标签的图像时,确定机器人进入标签区域,进而在标签区域中采集包含标签的标签图像,直至检测到机器人采集到的连续10帧图像中不包含标签,确定机器人驶出当前标签区域。
79.可选的,当标签图像中包含至少两个标签时,向控制终端发送标签位置报警信息,以使控制终端将标签位置报警信息展示给用户。
80.本可选的实施例中,当机器人在标签区域中采集到包含至少两个标签的标签图像时,机器人实时向控制终端发送标签位置报警信息,以使控制终端将标签位置报警信息展示给用户,可以提示用户多个标签设置距离过近,导致出现在了同一标签图像中。具体的,标签位置报警信息中可以包括标签图像中的至少两个标签的属性信息,例如,标签的标签id等,将上述信息提供给用户,可以提示用户上述两个标签设置距离过近,导致两个标签出现在了同一标签图像中,使用户根据标签信息查找对应的标签并进行位置修正。
81.示例性的,当检测到一幅标签图像中同时包含标签a和标签b时,表示标签a和标签b的设置距离过近,会影响机器人实际运行时的定位,导致机器人运行时无法确定应该依据a标签事先对应的位置信息进行自身的定位还是依据b标签。因此,可以将标签位置报警信息发送到控制终端,其中,标签位置报警信息中包含标签a的属性信息和标签b的属性信息,
例如,标签a的id为1000,标签形状为第一行三个圆形标识,第二行前两个位置对应有圆形标识,第三行三个圆形标识。标签b的id为1200,标签形状为第一行前两个位置有圆形标识,第二行前两个位置对应有圆形标识,第三行三个圆形标识。标签属性信息可以帮助用户快速确定设置位置过近的标签,并进行标签位置的修正。属性信息还可以包括标签位置信息,便于用户快速到达对应标签进行修正。
82.步骤330、当连续采集到设定数量的图像中不包含标签时,确定机器人驶出标签区域。
83.本实施例中,在确定机器人进入标签区域后,按照设定图像采集频率进行图像采集,获取标签区域中包含标签的标签图像,直至连续采集到的设定数量的图像中不包含标签时,确定机器人驶出标签区域,通过这种方式可以将机器人建图行驶的路线划分为多段,每段路线对应一个的标签区域。也就是说,设置标签使得相邻标签区域之间存在一段无法采集的标签图像的区域,避免标签设置过近造成机器人定位混乱。
84.步骤340、判断机器人进入标签区域到驶出标签区域过程中是否采集到至少一个类别的标签图像的数量大于设定数量阈值。
85.本实施例中,在机器人驶出标签区域后,判断机器人进入标签区域到驶出标签区域过程中是否采集到至少一个类别的标签图像的数量大于设定阈值,即在一个标签区域中是否确定至少一个目标标签,若有,则认为标签区域中存在可以进行标签添加的目标标签,通过上述方式,实现了机器人对识别到的标签的初筛,对于数量小于设定阈值的标签图像对应的标签,不再进行后续处理,提高标签识别准确度的同时,降低计算工作量,提高标签建图效率。
86.步骤350、当机器人进入标签区域到驶出标签区域过程中未采集到至少一个类别的标签图像的数量大于设定数量阈值时,向控制终端发送标签异常报警信息,以使控制终端将标签异常报警信息展示给用户。
87.本实施例中,当机器人进入标签区域到驶出标签区域过程中未采集到至少一个类别的标签图像的数量大于设定数量阈值时,表示该标签区域中并未采集到可以进行标签添加的目标标签,即未采集到的任何一个达到标签添加数量的目标标签,因此,需要向控制终端发送标签异常报警信息,以使控制终端将标签异常报警信息展示给用户,提示用户检查标签是否存在遮挡等异常情况。
88.本发明实施例的技术方案,基于预设图像采集频率进行图像采集,并判断采集到的图像中是否包含标签,当连续采集到设定数量包含标签的图像时,确定机器人进入标签区域,并在标签区域内采集至少一幅包含标签的标签图像,当连续采集到设定数量的图像中不包含标签时,确定机器人驶出标签区域,并判断机器人进入标签区域到驶出标签区域过程中是否采集到至少一个类别的标签图像的数量大于设定数量阈值,机器人进入标签区域到驶出标签区域过程中未采集到至少一个类别的标签图像的数量大于设定数量阈值时,向控制终端发送标签异常报警信息,以使控制终端将标签异常报警信息展示给用户,可以根据各类别标签图像的数量,来确定是否进行标签添加,当在标签区域中未采集到任何一个类别的标签图像数量大于设定数量阈值,则不进行标签添加,并发起标签异常报警信息,提示用户检查是否出现标签被遮挡等异常情况,减少人工进行已张贴标签的校验,降低人力成本,且提高了标签建图的效率和准确度。
89.实施例四
90.本实施例的技术方案适用于根据标签的置信度,在机器人地图中进行标签添加的情况,该方法可以由标签建图装置执行,该装置可以由软件和/或硬件来实现,并可以集成在各种通用计算机设备中。本实施例中的标签建图方法,具体包括如下步骤:
91.步骤410、获取机器人在标签区域内采集到的标签的属性信息和置信度,所述属性信息包括标签位置信息。
92.本实施例中,控制终端接收机器人在标签区域内采集到的标签的属性信息和置信度,机器人在行驶过程中按照预先设定的统计周期,进行目标标签的确定和目标标签对应置信度的确定和更新,控制终端在各统计周期内接收机器人发送的目标标签的相关信息和置信度,若第一次接收到当前目标标签,则将目标标签和置信度对应存储,若已经存储有目标标签,则根据当前接收到与该目标标签对应的置信度,对已经存储的目标标签的置信度进行更新。
93.步骤420、在机器人驶出标签区域时,根据置信度,确定待添加标签,并将待添加标签的属性信息添加至机器人地图中。
94.本实施例中,当确定机器人驶出标签区域时,确定该标签区域内的标签图像采集完毕,此时可以根据当前存储的至少一个目标标签对应的置信度,在至少一个目标标签中确定待添加标签,最终将待添加标签的属性信息添加到机器人地图中,具体的,可以是将同一标签区域中获取到的置信度最高的标签确定为与该标签区域对应的待添加标签,并将该标签对应的标签位置信息添加至机器人地图中,以便在地图上的相应坐标位置进行展示。
95.可选的,属性信息包括标签id和标签形状;
96.在将待添加标签的属性信息添加至机器人地图中之前,还包括:
97.将待添加标签的标签id和机器人地图中已存在标签的标签id进行比对;
98.当待添加标签的标签id与机器人地图中已存在标签的标签id相同时,根据标签数据库中未使用标签的标签形状及待添加标签的标签形状更新待添加标签,并将更新后的待添加标签的属性信息向用户进行展示。
99.本可选的实施例中,为了避免因标签设置重复导致的重复添加标签等情况,在将待添加标签的属性信息添加至机器人地图中之前,首先将待添加标签的标签id和机器人地图中已经存在的标签的标签id进行比对,当待添加标签的标签id与机器人地图中已存在标签的标签id相同时,表示在此之前已经将当前待添加标签添加至机器人地图中,即存在将相同的标签重复设置的情况,因此,可以对用户进行重复标签的提示,便于用户及时进行异常处理。进一步的,为了使用户能够便于对标签进行修正,可以根据标签数据库中未使用标签的标签形状及待添加标签的标签形状更新待添加标签,并将更新后的待添加标签的属性信息向用户进行展示,以提示用户应该将当前确定的待识别标签更改为更新后的待添加标签。其中,可以根据待添加标签的形状与标签数据库中未添加标签的形状进行比对,计算相似度,将相似度高于设定阈值的未添加标签确定为更新后的待添加标签,例如根据待添加标签更改为未添加标签时需要修改的标识数量来确定相似度的高低,需要修改的标识越多,相似度越低,从而减少用户后续修改时的工作量。示例性的,如图4所示,标签的形状信息可以包含多个圆形标识,图4中的标签形状为第一行前三个位置对应有圆形标识,第二行前三个位置对应有圆形标识,第三行第一和第三个位置对应有圆形标识,第四行第一、第二
和第四个位置对应有圆形标识。
100.本发明实施例的技术方案,首先获取机器人在标签区域内采集到的标签的属性信息和置信度,进而在机器人驶出标签区域时,根据置信度,确定待添加标签,并将待添加标签的属性信息添加至机器人地图中,实现根据标签置信度进行标签添加,避免了因光线或者采集角度等因素导致的标签误识别情况,提高标签建图准确度。
101.实施例五
102.图5为本发明实施例五提供的一种标签建图系统的结构示意图,该标签建图系统,包括:机器人1和控制终端2,机器人1和控制终端2通信连接;机器人1中包含图像采集单元11和数据处理单元12。机器人1和控制终端2可以直接通信连接,也可以通过云端服务器间接通信连接。
103.机器人1,用于在标签区域中进行图像采集,获取至少一幅标签图像,对标签图像进行识别,获取标签图像中标签的属性信息,根据属性信息,得到目标标签及其置信度。
104.其中,图像采集单元11用于在标签区域中进行图像采集,获取至少一幅标签图像。
105.数据处理单元12,用于对标签图像进行识别,获取标签图像中标签的属性信息,根据属性信息,得到目标标签及其置信度。
106.本实施例中,机器人1根据用户指令开始在定位环境中运动,并在运动过程中通过图像采集单元11,按照设定的频率进行图像采集,当检测到机器人1进入标签区域时,继续在标签区域中进行图像采集,并将在标签区域中采集到的包含标签的图像确定为标签图像,每个标签图像中包含至少一个标签。其中,可以在机器人1连续设定次数采集到包含标签的图像时,确定机器人1进入标签区域。
107.在标签区域中采集到标签图像后,通过数据处理单元12对标签图像进行图像识别,获取标签图像的属性信息,具体的,通过对标签图像进行识别,获取标签图像中包含标签id、标签形状、标签位置信息以及标签颜色等信息。最终,数据处理单元12可以根据标签的属性信息,确定满足标签添加条件的目标标签,并得到目标标签对应的置信度。由机器人1的数据处理单元12进行标签图像的识别,相较于控制终端2或者云端服务器,能够降低并发数据处理的压力。最终机器人1可以将目标标签、目标标签的属性信息以及目标标签对应的置信度发送至控制终端2,使得控制终端2可以根据机器人1发送的目标标签的置信度来确定需要添加至机器人地图的目标标签,避免了因机器人1的误识别导致的标签添加错误的情况,提高了标签建图的准确性,且无需耗费大量人力成本进行机器人地图中的标签核验,提高了标签建图的效率。
108.本实施例中,机器人1在采集标签图像过程中进行预先识别和处理,筛选出符合设定标签添加条件的至少一个目标标签,仅将目标标签的属性信息和置信度发送到控制终端2,相比于在机器人1在完成建图环境中图像的采集之后,将全部图像发送至控制终端2进行统一处理的方式,提高了标签建图的效率。
109.控制终端2,用于获取机器人1在标签区域内采集到的标签的属性信息和置信度,在机器人1驶出标签区域时,根据置信度,确定待添加标签,并将待添加标签的属性信息添加至机器人地图中。
110.本实施例中,控制终端接2收机器人1在标签区域内采集到的标签的属性信息和置信度,机器人1在行驶过程中按照预先设定的统计周期,进行目标标签的确定和目标标签对
应置信度的确定和更新,控制终端2在各统计周期内接收机器人发送的目标标签的相关信息和置信度,若第一次接收到当前目标标签,则将目标标签和置信度对应存储,若已经存储有目标标签,则根据当前接收到与该目标标签对应的置信度,对已经存储的目标标签的置信度进行更新。当确定机器人1驶出标签区域时,确定该标签区域内的标签图像采集完毕,此时可以根据当前存储的至少一个目标标签对应的置信度,在至少一个目标标签中确定待添加标签,最终将待添加标签的属性信息添加到机器人地图中。
111.本发明实施例的技术方案,通过在标签区域中进行图像采集,获取至少一幅标签图像,进而对标签图像进行识别,获取标签图像中标签的属性信息,最终根据属性信息,得到目标标签及其置信度,可以根据标签置信度将标签添加至机器人地图,避免了由于机器人误识别或者标签张贴异常带来的建图错误,提高标签建图准确度的同时,降低了标签核验的人力成本。
112.实施例六
113.图6为本发明实施例六提供的一种标签建图装置的结构示意图,该标签建图装置,包括:标签图像获取模块610、属性确定模块620和置信度计算模块630。
114.标签图像获取模块610,用于在标签区域中进行图像采集,获取至少一幅标签图像;所述标签图像中包括至少一个标签;
115.属性确定模块620,用于对所述标签图像进行识别,获取所述标签图像中标签的属性信息;
116.置信度计算模块630,用于根据所述属性信息,得到目标标签及其置信度。
117.本发明实施例的技术方案,通过在标签区域中进行图像采集,获取至少一幅标签图像,进而对标签图像进行识别,获取标签图像中标签的属性信息,最终根据属性信息,得到目标标签及其置信度,便于根据标签置信度将标签添加至机器人地图,减少了由于机器人误识别或者标签张贴异常带来的建图错误,提高标签建图准确度的同时,降低了标签核验的人力成本。
118.可选的,置信度计算模块630,包括:
119.数量获取单元,用于根据所述属性信息对标签图像进行分类,得到各类别标签图像的数量;
120.置信度计算单元,用于根据目标类别的标签图像的数量和目标类别的标签图像中目标标签的属性信息,得到目标标签的置信度。
121.可选的,标签图像获取模块610,包括:
122.标签判断单元,用于基于预设图像采集频率进行图像采集,并判断采集到的图像中是否包含标签;
123.标签图像获取单元,用于当连续采集到设定数量包含标签的图像时,确定机器人进入标签区域,并在所述标签区域内采集至少一幅包含标签的标签图像。
124.数量获取单元,包括:
125.数量获取子单元,用于在所述标签区域中按预设的统计规则,根据所述属性信息,对该标签区域内的标签图像进行分类,得到各类别标签图像的数量。
126.可选的,属性信息还包括标签位置信息;
127.置信度计算单元,包括:
128.目标标签确定子单元,用于当至少一个类别的标签图像的数量大于设定数量阈值时,将该类别标签图像作为目标类别的标签图像,并将目标类别的标签图像对应的标签确定为目标标签;
129.置信度计算子单元,用于根据目标类别的标签图像在标签区域内已采集到标签图像中的占比,以及机器人与目标标签的相对位置关系,计算所述目标标签的置信度;所述相对位置关系根据机器人的位置信息和所述目标标签的标签位置信息确定。
130.可选的,标签建图装置,还包括:
131.标签位置报警信息发送模块,用于当标签图像中包含至少两个标签时,向控制终端发送标签位置报警信息,以使所述控制终端将所述标签位置报警信息展示给用户。
132.可选的,标签建图装置,还包括:
133.标签区域确定模块,用于标签区域当连续采集到设定数量的图像中不包含标签时,确定机器人驶出标签区域;
134.标签图像判断模块,用于判断机器人进入标签区域到驶出标签区域过程中是否采集到至少一个类别的标签图像的数量大于设定数量阈值;
135.标签异常报警信息发送模块,用于当机器人进入标签区域到驶出标签区域过程中未采集到至少一个类别的标签图像的数量大于设定数量阈值时,则=向控制终端发送标签异常报警信息,以使所述控制终端将所述标签异常报警信息展示给用户。
136.本发明实施例所提供的标签建图装置可执行本发明任意实施例所提供的标签建图方法,具备执行方法相应的功能模块和有益效果。
137.实施例七
138.图7为本发明实施例七提供的一种标签建图装置的结构示意图,该标签建图装置,包括:置信度获取模块710和标签添加模块720。
139.置信度获取模块710,用于获取机器人在标签区域内采集到的标签的属性信息和置信度,所述属性信息包括标签位置信息;
140.标签添加模块720,用于在机器人驶出标签区域时,根据所述置信度,确定待添加标签,并将所述待添加标签的属性信息添加至机器人地图中。
141.本发明实施例的技术方案,首先获取机器人在标签区域内采集到的标签的属性信息和置信度,进而在机器人驶出标签区域时,根据置信度,确定待添加标签,并将待添加标签的属性信息添加至机器人地图中,实现根据标签置信度进行标签添加,避免了因光线或者采集角度等因素导致的标签误识别情况,提高建图准确度。
142.可选的,属性信息包括标签id和标签形状;
143.可选的,标签建图装置,还包括:
144.标识信息比对模块,用于在将所述待添加标签的属性信息添加至机器人地图中之前,将所述待添加标签的标签id和机器人地图中已存在标签的标签id进行比对;
145.待添加标签更新模块,用于当所述待添加标签的标签id与所述机器人地图中已存在标签的标签id相同时,根据标签数据库中未使用标签的标签形状及所述待添加标签的标签形状更新待添加标签,并将更新后的待添加标签的属性信息向用户进行展示。
146.本发明实施例所提供的标签建图装置可执行本发明任意实施例所提供的标签建图方法,具备执行方法相应的功能模块和有益效果。
147.实施例八
148.图8为本发明实施例八提供的一种电子设备的结构示意图,如图8所示,该电子设备包括处理器80、存储器81、输入装置82和输出装置83;设备中处理器80的数量可以是一个或多个,图8中以一个处理器80为例;设备中的处理器80、存储器81、输入装置82和输出装置83可以通过总线或其他方式连接,图8中以通过总线连接为例。
149.存储器81作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的标签建图方法对应的程序指令/模块(例如,标签建图装置中的标签图像获取模块610、属性确定模块620和置信度计算模块630,或者置信度获取模块710和标签添加模块720)。处理器80通过运行存储在存储器81中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的标签建图方法,包括:
150.在标签区域中进行图像采集,获取至少一幅标签图像;所述标签图像中包括至少一个标签;
151.对所述标签图像进行识别,获取所述标签图像中标签的属性信息;
152.根据所述属性信息,得到目标标签及其置信度。
153.或者,实现标签建图方法,包括:
154.获取机器人在标签区域内采集到的标签的属性信息和置信度;
155.在机器人驶出标签区域时,根据所述置信度,确定待添加标签,并将所述待添加标签的属性信息添加至机器人地图中。
156.存储器81可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器81可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器81可进一步包括相对于处理器80远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
157.实施例九
158.本发明实施例九还提供一种其上存储有计算机程序的计算机可读存储介质,所述计算机程序在由计算机处理器执行时用于执行一种标签建图方法,该方法包括:
159.在标签区域中进行图像采集,获取至少一幅标签图像;所述标签图像中包括至少一个标签;
160.对所述标签图像进行识别,获取所述标签图像中标签的属性信息;
161.根据所述属性信息,得到目标标签及其置信度。
162.或者,实现标签建图方法,包括:
163.获取机器人在标签区域内采集到的标签的属性信息和置信度,所述属性信息包括标签位置信息;
164.在机器人驶出标签区域时,根据所述置信度,确定待添加标签,并将所述待添加标签的属性信息添加至机器人地图中。
165.当然,本发明实施例所提供的包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的标签建图方法中的相关操作。
166.通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read

only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,应用服务器,或者网络设备等)执行本发明各个实施例所述的方法。
167.值得注意的是,上述一种标签建图装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
168.注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
转载请注明原文地址:https://win.8miu.com/read-25632.html

最新回复(0)