本技术涉及交通监控，尤其是涉及一种用于路口交通监控的实例分割方法及装置。
背景技术：
1、目前，用于交通监控相机图像的实例分割模型大多存在泛化性差的问题。现有的解决方案主要通过采集足够多不同机位的数据来丰富训练集中的样本多样性，不仅费时费力，还不可避免地产生长尾问题。
技术实现思路
1、有鉴于此，本技术提供了一种用于路口交通监控的实例分割方法及装置，以解决上述技术问题。
2、第一方面，本技术实施例提供一种用于路口交通监控的实例分割方法，包括：
3、获取路口任一监控相机的当前rgb图像帧，以及所述监控相机的静态背景图像；所述静态背景图像为监控相机所在机位下不包含任何实例的纯背景rgb图像；
4、利用预先训练完成的实例分割模型对当前rgb图像帧和静态背景图像进行处理，得到实例分割结果。
5、进一步地，所述方法还包括：
6、按照预设的时间间隔获取所述当前rgb图像帧之前的监控相机的rgb图像序列；
7、基于密度聚类算法对rgb图像序列中的每个相同位置像素沿时间维度聚类，得到多个像素簇；
8、计算像素数量最多的像素簇中所有像素值的平均值，作为静态背景图像的对应位置像素的像素值，由此得到静态背景图像。
9、进一步地，所述实例分割模型包括：孪生特征提取器，前背景融合模块，注意力模块，实例分割头和后处理模块；
10、利用预先训练完成的实例分割模型对当前rgb图像帧和静态背景图像进行处理，得到实例分割结果；包括：
11、利用所述孪生特征提取器对当前rgb图像帧进行逐层下采样得到n个尺度的第一特征图，对静态背景图像进行逐层下采样得到n个尺度的第二特征图；
12、利用所述前背景融合模块分别对相同尺度的第一特征图和第二特征图进行处理，生成对应尺度的注意力特征图；将n-1个尺度的注意力特征图分别上采样，得到与最大尺度的注意力特征图相同尺寸的n-1个特征图，将n-1个特征图与最大尺度的注意力特征图进行拼接生成前景注意力特征图；
13、利用所述注意力模块对前景注意力特征图进行处理得到前景掩码，将n个尺度的第一特征图分别与前景掩码进行相乘，得到n个尺度的前景特征图；
14、利用所述实例分割头对n个尺度的前景特征图进行处理，得到m个实例中心点高斯热图以及一个距离中心点的位置偏移图，其中，一个实例中心点高斯热图对应一个类别，m为类别数量；
15、利用所述后处理模块对前景掩码、m个实例中心点高斯热图以及一个距离中心点的位置偏移图进行处理，得到实例分割结果。
16、进一步地，所述孪生特征提取器采用resnet-50；所述n个尺度的第一特征图包括：第一尺度的第一特征图、第二尺度的第一特征图和第三尺度的第一特征图；第一尺度的第一特征图为对当前rgb图像帧进行4倍下采样得到，第二尺度的第一特征图为对当前rgb图像帧进行8倍下采样得到，第三尺度的第一特征图为对当前rgb图像帧进行16倍下采样得到；所述n个尺度的第二特征图包括：第一尺度的第二特征图、第二尺度的第二特征图和第三尺度的第二特征图；第一尺度的第二特征图为对静态背景图像进行4倍下采样得到，第二尺度的第二特征图为对静态背景图像进行8倍下采样得到，第三尺度的第二特征图为对静态背景图像进行16倍下采样得到。
17、进一步地，所述前背景融合模块包括第一最大空间池化、第一平均空间池化、第二最大空间池化、第二平均空间池化、第一运算器、第二运算器、第一多层感知机、第二多层感知机、加法器、第一乘法器、第二乘法器、第一最大通道池化、第一平均通道池化、第二最大通道池化、第二平均通道池化、第三运算器、第四运算器、第一卷积层、第二卷基层、第二加法器、第三乘法器、第四乘法器、拼接单元和第三卷积层；
18、利用所述前背景融合模块对相同尺度的第一特征图和第二特征图进行处理，生成对应尺度的注意力特征图；包括：
19、利用第一最大空间池化和第一平均空间池化分别对第一特征图进行处理，得到第一中间特征图和第二中间特征图；
20、利用第二最大空间池化和第二平均空间池化分别对第二特征图进行处理，得到第三中间特征图和第四中间特征图；
21、利用第一运算器计算第一中间特征图和第三中间特征图的差的绝对值，得到第五中间特征图；
22、利用第二运算器计算第二中间特征图和第四中间特征图的差的绝对值，得到第六中间特征图；
23、利用第一多层感知机对第五中间特征图进行处理，得到第一注意力引导权重特征图；
24、利用第二多层感知机对第六中间特征图进行处理，得到第二注意力引导权重特征图；
25、利用第一加法器计算第一注意力引导权重特征图和第二注意力引导权重特征图的和，得到第一权重特征图；
26、利用第一乘法器对第一权重特征图与第一特征图进行点乘运算，得到第一空间维度加权特征图；
27、利用第二乘法器对第一权重特征图与第二特征图进行点乘运算，得到第二空间维度加权特征图；
28、利用第一最大通道池化和第一平均通道池化分别对第一空间维度加权特征图进行处理，得到第七中间特征图和第八中间特征图；
29、利用第二最大通道池化和第二平均通道池化分别对第二空间维度加权特征图进行处理，得到第九中间特征图和第十中间特征图；
30、利用第三运算器计算第七中间特征图和第九中间特征图的差的绝对值，得到第十一中间特征图；
31、利用第四运算器计算第八中间特征图和第十中间特征图的差的绝对值，得到第十二中间特征图；
32、利用第一卷积层对第十一中间特征图进行处理，得到第三注意力引导权重特征图；
33、利用第二卷积层对第十二中间特征图进行处理，得到第四注意力引导权重特征图；
34、利用第二加法器计算第三注意力引导权重特征图和第四注意力引导权重特征图的和，得到第二权重特征图；
35、利用第三乘法器对第二权重特征图与第一特征图进行点乘运算，得到第三空间维度加权特征图；
36、利用第四乘法器对第二权重特征图与第二特征图进行点乘运算，得到第四空间维度加权特征图；
37、利用拼接单元对第三空间维度加权特征图和第四空间维度加权特征图进行拼接，得到第五空间维度加权特征图；
38、利用第三卷积层对第五空间维度加权特征图进行处理，得到注意力特征图。
39、进一步地，所述注意力模块包括：两个卷积层和argmax函数；
40、利用所述注意力模块对前景注意力特征图进行处理得到前景掩码，包括:
41、利用两个卷积层对前景注意力特征图进行处理，得到通道数为2的掩码，分别表示该位置为前景概率和背景概率；
42、利用argmax函数对掩码进行处理，得到前景掩码。
43、进一步地，所述实例分割头由一个空洞空间金字塔池化层、第一子卷积层、第二子卷积层、第三子卷积层、第四子卷积层、第五子卷积层、第六子卷积层、第七子卷积层、第八子卷积层和拼接单元；
44、所述n个尺度的前景特征图包括：第一尺度的前景特征图、第二尺度的前景特征图和第三尺度的前景特征图；
45、利用所述实例分割头对n个尺度的前景特征图进行处理，得到每个实例的类别、中心点和中心点偏移图，包括：
46、利用空洞空间金字塔池化层对第三尺度的前景特征图进行处理，得到第三尺度的第一中间前景特征图；
47、利用第一子卷积层对第二尺度的前景特征图进行处理，得到第二尺度的第二中间前景特征图；
48、对第三尺度的第一中间前景特征图进行上采样，得到第二尺度的第三中间前景特征图，对第二尺度的第二中间前景特征图和第二尺度的第三中间前景特征图进行拼接得到第二尺度的第四中间前景特征图；
49、利用第二子卷积层对第二尺度的第四中间前景特征图进行处理，得到第二尺度的第五中间前景特征图；
50、利用第三子卷积层对第一尺度的前景特征图进行处理，得到第一尺度的第六中间前景特征图；
51、对第二尺度的第五中间前景特征图进行上采样，得到第一尺度的第七中间前景特征图，对第一尺度的第六中间前景特征图和第一尺度的第七中间前景特征图进行拼接得到第一尺度的第八中间前景特征图；
52、利用第四子卷积层对第一尺度的第八中间前景特征图进行处理，得到第一尺度的第九中间前景特征图；
53、利用第五子卷积层对第二尺度的第五中间前景特征图进行处理，得到第二尺度的第十中间前景特征图；
54、对第一尺度的第九中间前景特征图进行下采样，得到第二尺度的第十一中间前景特征图，对第二尺度的第十中间前景特征图和第二尺度的第十一中间前景特征图进行拼接得到第二尺度的第十二中间前景特征图；
55、利用第六子卷积层对第二尺度的第十二中间前景特征图进行处理，得到第二尺度的第十三中间前景特征图；
56、利用第七子卷积层对第三尺度的第一中间前景特征图进行处理，得到第三尺度的第十四中间前景特征图进；
57、对第二尺度的第十三中间前景特征图进行下采样，得到第三尺度的第十五中间前景特征图，对第三尺度的第十四中间前景特征图和第三尺度的第十五中间前景特征图进行拼接得到第三尺度的第十六中间前景特征图；
58、利用第八子卷积层对第三尺度的第十六中间前景特征图进行处理，得到第三尺度的第十七中间前景特征图；
59、对第三尺度的第十七中间前景特征图进行上采样，得到第一尺度的第十七中间前景特征图；
60、对第二尺度的第十七中间前景特征图进行上采样，得到第一尺度的第十七中间前景特征图；
61、对第二尺度的第十三中间前景特征图进行上采样，得到第一尺度的第十八中间前景特征图；
62、对第一尺度的第九中间前景特征图、第一尺度的第十七中间前景特征图和第一尺度的第十八中间前景特征图进行拼接，得到第一尺度的融合前景特征图，
63、利用中心预测头对第一尺度的融合前景特征图进行处理，得到m个实例中心点高斯热图，其中，一个实例中心点高斯热图包括一个类别的所有实例的预测中心点；利用中心偏移预测头对第一尺度的融合前景特征图进行处理，得到一个距离中心点的位置偏移图，其中，所述距离中心点的位置偏移图的每个像素的像素值为距离中心点的二维坐标偏移量。
64、进一步地，利用所述后处理模块对前景掩码、m个实例中心点高斯热图以及一个距离中心点的位置偏移图进行处理，得到实例分割结果，包括：
65、将坐标编码图与距离中心点的位置偏移图作差，得到各像素所属实例的第一中心位置；
66、计算每个像素的第一中心位置与各中心点的距离，将距离最小值对应的中心点作为所述像素的第二中心位置，根据所述实例的各像素的第二中心位置得到粗分割结果图；
67、将前景掩码和粗分割结果相乘得到最终的实例分割结果。
68、第二方面，本技术实施例提供一种用于路口交通监控的实例分割装置，包括：
69、获取单元，用于获取路口任一监控相机的当前rgb图像帧，以及所述监控相机的静态背景图像；所述静态背景图像为监控相机所在机位下不包含任何实例的纯背景rgb图像；
70、实例分割单元，用于利用预先训练完成的实例分割模型对当前rgb图像帧和静态背景图像进行处理，得到实例分割结果。
71、第三方面，本技术实施例提供一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本技术实施例的方法
72、第四方面，本技术实施例一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现本技术实施例的方法。
73、本技术通过在实例分割模型中引入静态背景图像，有效地强化了当前帧的前景特征，缓解了现有实例分割模型在应用到新路口新机位时精度下降严重这一泛化性难题。
1.一种用于路口交通监控的实例分割方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述实例分割模型包括：孪生特征提取器，前背景融合模块，注意力模块，实例分割头和后处理模块；
4.根据权利要求3所述的方法，其特征在于，所述孪生特征提取器采用resnet-50；所述n个尺度的第一特征图包括：第一尺度的第一特征图、第二尺度的第一特征图和第三尺度的第一特征图；第一尺度的第一特征图为对当前rgb图像帧进行4倍下采样得到，第二尺度的第一特征图为对当前rgb图像帧进行8倍下采样得到，第三尺度的第一特征图为对当前rgb图像帧进行16倍下采样得到；所述n个尺度的第二特征图包括：第一尺度的第二特征图、第二尺度的第二特征图和第三尺度的第二特征图；第一尺度的第二特征图为对静态背景图像进行4倍下采样得到，第二尺度的第二特征图为对静态背景图像进行8倍下采样得到，第三尺度的第二特征图为对静态背景图像进行16倍下采样得到。
5.根据权利要求4所述的方法，其特征在于，所述前背景融合模块包括第一最大空间池化、第一平均空间池化、第二最大空间池化、第二平均空间池化、第一运算器、第二运算器、第一多层感知机、第二多层感知机、加法器、第一乘法器、第二乘法器、第一最大通道池化、第一平均通道池化、第二最大通道池化、第二平均通道池化、第三运算器、第四运算器、第一卷积层、第二卷基层、第二加法器、第三乘法器、第四乘法器、拼接单元和第三卷积层；
6.根据权利要求5所述的方法，其特征在于，所述注意力模块包括：两个卷积层和argmax函数；
7.根据权利要求3所述的方法，其特征在于，所述实例分割头由一个空洞空间金字塔池化层、第一子卷积层、第二子卷积层、第三子卷积层、第四子卷积层、第五子卷积层、第六子卷积层、第七子卷积层、第八子卷积层和拼接单元；
8.根据权利要求7所述的方法，其特征在于，利用所述后处理模块对前景掩码、m个实例中心点高斯热图以及一个距离中心点的位置偏移图进行处理，得到实例分割结果，包括：
9.一种用于路口交通监控的实例分割装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述的方法。
