本发明涉及一种用于确定车辆自身位置的方法，通过：获取路标和与车辆获取位置相关的数据集；将获取的路标匹配至地图的地图标记；从与获取位置相关的数据集和地图标记的测绘位置获得自身位置。此外，本发明涉及一种用于确定自身位置的相应装置以及具有这种装置的相应车辆。在本文中，位置一词也用于表示位姿一词，即地点和取向/姿态。
背景技术：
1、机动车辆，尤其是自动驾驶机动车辆具有许多传感器来感知周围环境。通常，在机动车辆中使用一个或多个摄像机以及可能的超声波传感器、雷达传感器等。这些摄像机专门用于提取自然路标/陆上标志，例如柱子和地面标记。为此，通常将所获取的图像与外部3d地图进行比较，从而确定车辆的自身位置。
2、从摄像机图像中检测对象通常是使用机器学习方法完成的。特别是，所谓的“深度学习方法”近年来已成为现有技术。这些方法可以使用边界框(bounding boxes)从图像中提取对象，或者确定图像的每个像素与语义类别的匹配(语义分割)。尽管这些方法非常有效，但它们存在一些架构上的缺点。
3、这些缺点之一是它们需要大量的注释工作，因为必须由人类操作员手动标记各个类别的大量示例才能训练相应的网络。尤其是，如果引入具有非常不同的成像特性的新型摄像机，或者该方法要在以前未知的场景中使用(例如从停车场转变到露天停车场、从沥青地面转变到铺砌地面等)，则需要新的手动注释。另一个缺点是在车辆中需要有效的图形地图才能使用此类方法。然而还存在的缺点是边界框方法尤其不能为对象提供几何定位所需的精确观测点。除了单纯的对象检测外，这些方法不提供适于在3d地图匹配中减少模糊性的进一步描述。
4、公开文本us2016/0305794 a1公开一种使用路标来估计车辆位置的车辆位置估计系统。安装在车辆上的控制装置获取路标信息，该路标信息包括在车辆预期位于的道路上能识别到的路标的位置信息。车辆的控制装置评估对作为识别对象的路标的识别结果，并将识别结果与摄像头识别的路标图像一起发送至服务器。服务器汇总路标识别评估的结果和从摄像头接收到的所识别的图像，并将其反映在对路标信息的识别分数中，并将其传输到车载控制单元。
5、此外，从公开文本us2019/0226853 a1中已知一种用于对显示车辆周围环境的点云的数据点进行分类的方法和系统。在此，使用与车辆的假设的当前位置相关的数字地图的特征。此类方法和系统可用于识别道路参与者，例如车辆附近的其他车辆。该方法或系统可以优选地用在高度自动化和全自动化的驾驶应用中。
技术实现思路
1、本发明的目的是提出一种方法和装置，利用该方法和该装置能从传感器图像(特别是摄像机图像)中提取各种类型的对象，以便能借此确定自身位置。
2、根据本发明，该目的通过根据独立权利要求的方法和装置来实现。本发明的有利改进方案由从属权利要求得出。
3、因此，根据本发明提供了一种用于确定车辆自身位置的方法。车辆优选地是机动车辆，但原则上它可以是在环境中移动的并且可能需要自身定向的任何类型的车辆。为此目的，获取路标/陆上标志和与车辆的获取位置有关的数据集。例如，通过生成路标的相应图像的摄像机来获取路标。视情况还可以在一系列多个图像中获取路标。但也可以使用另一传感器系统来执行检测，例如基于超声波、雷达或激光技术的传感器系统。此外，还检测与车辆的获取位置相关的数据集。该数据集可以包括例如里程计数据和车辆相对于路标的相对位置。数据集视情况还可以包括粗略的绝对定位数据(例如gps数据)。然后将所检测的路标匹配至地图的地图标记。地图优选地是数字3d地图，其中或多或少详细地记录了路标。与真实路标不同，在地图中记录的路标在本文中被称为地图路标。最后，从与获取位置相关的数据集和地图标记的测绘位置中获得车辆的自身位置。由于路标的准确位置是通过相应的地图标记得知的，因此可以根据数据集推导出车辆的绝对获取位置，即车辆的自身位置，该数据集直接或间接包含车辆在获取路标时的获取位置。
4、获取路标包括提取路标的原始图像的至少两条线。路标的原始图像例如是使用车辆的相应传感器系统(例如摄像机)获得的像素图像。原始图像也可以是传感器系统的预处理的图像。使用线提取从原始图像中提取至少两条线。这种提取是在获取路标的情况下进行的。当然，原则上也可以为路标检测两条以上的线。经常需要提取大量的线才能识别特定类型的路标。
5、根据本发明，为每条线指定方向。由此产生向量，该向量不仅反映线的走向，还可以根据其方向携带附加信息。为了现在以节约资源的方式获取路标，为每一条线生成描述符。描述符包含关于以各自的方向为基准垂直于相关的线存在哪种颜色过渡或亮度过渡的信息。例如，如果沿着指定方向观察线，则该线可以表征原始图像中的亮-暗过渡或暗-亮过渡。基于所指定的方向，因此还可以考虑到从左向右或从右向左的过渡。例如，白色的地面标记代表深色沥青上的白色条带。该白色条带具有两条平行线。这些线可以被指定一个方向，例如远离摄像机的方向。两条线中的一条线代表相对于指定的方向的暗-亮过渡，另一条线代表亮-暗过渡。有关过渡的相应信息被称为描述符。使用两条平行线连同它们的两个描述符(暗-亮过渡和亮-暗过渡)，可以以节省资源的方式推断出地面标记。从该至少两条线和相关联的描述符中确定对应的路标。
6、在根据本发明的方法的一种有利实施方案中，使用预定的摄像机内参和摄像机外参，为每条线分配关于其主要是水平延伸还是垂直延伸的位置信息，该位置信息被用于确定路标。虽然外部参数决定摄像机在外部坐标系(例如世界坐标系)中的位置，但内部参数不依赖于摄像机的位置和取向，而是描述摄像机的内部几何结构(例如焦距等)。根据这些摄像机参数，所检测到的线可以分为水平线和竖直线。起决定作用的可以是线的主要方向分量，即，是水平还是垂直走向。该位置信息(垂直或水平)于是被用于确定路标。地面标记通常具有水平的主方向分量(取决于摄像机位置)，柱子通常具有竖直的线。
7、在该方法的改进方案中，可以确定两条线是否有交点，其中，使用该相关信息来确定路标。如果两条线没有交点，而是例如平行的，那其可以是一条直的带状的地面标记或柱子。然而，如果两条线有交点，则具体可以是由地面标记界定的停车库的一角。因此，交点可以指示非常具体的路标，即停车库的库角。尤其是在停车楼中或停车场上，这种交点对于辨向是非常有帮助的。
8、现在可以从交点出发为在交点处相交的两条线分别指定方向。这意味着交点对于每条线构成起点，每条线的远端构成各自的终点。由此使用交点得出明确的方向分配。这会产生两个远离交点的向量。两个向量的向量乘积得出垂直于这两个向量的乘积向量。这些向量与乘积向量一起构成了一个右手坐标系，由此清楚地得出乘积向量的取向。向量乘积或乘积向量的方向可以很容易地用于更详细地对路标进行分类。例如，停车库的左角由于其与交点的线而具有向上指向的乘积向量，而右角则具有向下指向的乘积向量。这样就可以轻松区分停车库的库角。
9、一般而言，向量乘积的特性可用于矩形路标。这种矩形路标还可以例如是环形柱子，其在摄像机图像中产生交替的红色和白色矩形。矩形的该情况也可以使用向量乘积被容易地分析。即，为此确定线的交点所在的至少两个角。在所述至少两个角中的一个角处，向量乘积具有第一方向，在所述至少两个角中的另一个角处，向量乘积具有与第一方向相反的第二方向。这是因为向量中的例如在矩形路标的左前角处的向量具有与在矩形路标的右前角处的相应向量相反的方向。由于这种反向平行性，乘积向量也具有相反的方向。
10、在另一实施例中，可以规定，确定两条平行的竖直线，基于这两条线的描述符将这些线匹配至对象，根据里程计确定在车辆行驶时两条线之间的距离变化，根据该变化推断出对象的宽度，并且根据该宽度来辨识对象。特别地，该措施对于辨识柱子特别有用。柱子或其他竖直取向的对象(例如标志杆)有两条平行的竖直的线。描述符在此也描述了在对象边缘的亮度或颜色过渡。为了进一步进行界定，必须确定对象的实际宽度。这例如可以使用里程计或相应的里程计数据通过观察两条线之间的距离随车辆行驶如何变化来实现。通过里程计已知运动路径，从而可以推断出对象的远近以及两条线之间的距离。如果对象距离较远，则在车辆行驶时，线之间的距离变化比在对象距离车辆较近时的变化小。由于现在可以根据距离的变化推断出对象的宽度，因此可以根据该宽度更详细地辨识对象。例如，如果确定宽度为10厘米，则可以将该对象辨识为柱子。在这种情况下，可以排除道路标志的杆。
11、在一种特殊的实施例中，将在路标检测时提取的线分为三组：竖直的线、在所获取的水平面下方的非竖直的线以及在水平面上方的非竖直的线。这种分类有助于辨识所获取的路标。例如，竖直的线是竖直的对象(例如柱子)的候选线。相反，水平面以下的非竖直的线是地面标记的候选线。水平面以上的非竖直的线通常可以被弃用。
12、在另一实施例中在使用预定的摄像机内参和摄像机外参的情况下对在获取路标时所提取的在预定的最大距离处具有端点的线进行分组，该分组用于确定路标。例如，端点紧邻的成对的线可以构成同一3d直线的线段。然而，其他也具有在紧邻处或在预定的最大距离处具有端点的成对的线可以具有交点。然后可以使用这样具有交点的成对的线来辨识矩形路标(例如停车库)的角部。因此，具有相邻端点的这种线的分组可以用于进一步辨识路标。
13、根据本发明，上述任务还通过一种用于确定自身位置的装置来实现，具有：
14、-用于获取路标和与获取位置相关的数据集的获取装置，
15、-匹配装置，用于将获取的路标匹配至地图的地图标记，以及
16、-确定装置，用于从与获取位置相关的数据集和地图标记的测绘位置中获得自身位置，其中
17、-获取装置在获取路标时可以提取路标的原始图像的至少两条线，
18、-获取装置可以为每条线指定方向，
19、-获取装置可以为每条线生成描述符，其包含关于以各自的方向为基准垂直于相关的线有哪种颜色过渡或亮度过渡的信息，
20、-获取装置可以从至少两条线和相关的描述符中确定路标。
21、本发明还包括根据本发明的装置的改进方案，其具有已经结合根据本发明的方法的改进方案描述的特征。为此，这里不再描述根据本发明的装置的相应改进方案。
22、本发明还包括所描述的实施方式的特征的组合。
1.一种用于确定车辆(10)自身位置的方法，包括：
2.根据权利要求1所述的方法，其中，使用预定的摄像机内参和摄像机外参为每条线分配关于该条线主要是水平延伸还是垂直延伸的位置信息，并且将所述位置信息用于确定路标。
3.根据权利要求1或2所述的方法，其中，确定所述两条线是否具有交点(8)并且将与此相关的信息用于确定路标。
4.根据权利要求3所述的方法，其中，基于交点(8)为两条线分别指定方向，从而产生两个向量，并且将这两个向量的向量乘积用于确定路标。
5.根据权利要求4所述的方法，其中，根据线(6、7)的交点(8)所在的至少两个角来确定矩形路标，在所述至少两个角中的一个角处，向量乘积具有第一方向，在所述至少两个角的另一个角处，向量乘积具有与第一方向相反的第二方向。
6.根据权利要求1或2所述的方法，其中，确定两条平行的竖直的线，基于这两条线的描述符将这些线分配给对象，在车辆(10)行驶时使用里程计确定这两条线的距离的变化，并根据变化推断出对象的宽度，并根据该宽度辨识对象。
7.根据前述权利要求中任一项所述的方法，其中，在获取路标时提取的线(6、7)被分为三组：竖直线、在所获取的水平面下方的非竖直线以及在水平面上方的非竖直线。
8.根据前述权利要求中任一项所述的方法，其中，使用预定的摄像机内参和摄像机外参对在获取路标时所提取的、具有在预定最大距离处的端点的线(6、7)进行分组，并且将所述分组用于确定路标。
9.一种用于确定自身位置的装置，具有：
10.一种具有根据权利要求7所述的装置的车辆(10)，其中，所述自身位置是所述车辆的位置。
