本公开涉及图像处理领域，尤其涉及一种深度估计方法、装置、电子设备及存储介质。
背景技术：
1、高效的深度估计对增强现实有非常重要的作用。通过对输入的传感器图像进行分析，推断出周围场景的深度信息，为后续的各种操作提供支持。比如根据场景物体的3d信息，我们可以绘制各种3d虚拟物体。同时，获得周围场景的3d信息，对于其它许多操作也很有意义，比如机器人的避障以及抓取等。因此，需要更准确、高效的深度估计方法。
技术实现思路
1、根据本公开实施例的第一方面，提供了一种深度估计方法，所述深度估计方法包括：获取场景的飞行时间tof图像、左图像和右图像；确定tof图像中各tof像素点的第一可靠度；根据所述第一可靠度确定是否基于左图像、右图像以及tof图像来估计所述场景的深度图。
2、可选地，所述根据所述第一可靠度确定是否基于左图像、右图像以及tof图像来估计所述场景的深度图，包括：确定所述第一可靠度满足预定要求的tof像素点的数量；如果所述数量满足第一阈值要求，则基于左图像、右图像以及tof图像估计所述场景的深度图；如果所述数量不满足第一阈值要求，则在不使用tof图像的情况下基于左图像和右图像来估计所述场景的深度图。
3、可选地，所述确定tof图像中各tof像素点的第一可靠度，包括：将tof图像中的各tof像素点分别投影到左图像和右图像上；针对投影后的每条tof投影点扫描线，沿第一方向计算该tof投影点扫描线上每个tof投影点所对应的tof像素点的第二可靠度；沿与第一方向相反的第二方向，基于第一方向上的可靠度计算结果来计算每个tof投影点所对应的tof像素点的第一可靠度。
4、可选地，在沿第一方向计算第二可靠度和沿第二方向计算第一可靠度时，基于每个tof投影点在左图像和右图像处的图像特征差异、以及在该投影点扫描线上与每个tof投影点之间的距离在预定范围内的图像特征相似的tof投影点所对应的tof像素点的第三可靠度，计算每个tof投影点所对应的tof像素点的第二可靠度和第一可靠度。
5、可选地，所述基于左图像、右图像以及tof图像估计所述场景的深度图，包括：执行左图像和右图像的第一立体匹配；基于tof图像和第一立体匹配的结果使用第一神经网络预测各tof像素点的第四可靠度；基于tof图像和预测出的第四可靠度执行左图像和右图像的第二立体匹配，得到所述场景的第一深度图。
6、可选地，所述执行左图像和右图像的第一立体匹配，包括：如果所述数量满足第一阈值要求并且满足第二阈值要求，则基于所述第一可靠度以及tof图像执行左图像和右图像的第一立体匹配；或者如果所述数量满足第一阈值要求并且不满足第二阈值要求，则在不使用tof图像的情况下执行左图像和右图像的第一立体匹配。
7、可选地，所述基于tof图像和第一立体匹配的结果使用第一神经网络预测各tof像素点的第四可靠度，包括：将以下至少一种信息作为第一神经网络的输入来预测各tof像素点的第四可靠度：根据tof图像确定的各tof像素点对应的视差值与通过第一立体匹配确定的各tof像素点的视差值之间的差异；各tof像素点在左图像和右图像的投影点处的图像特征差异；各tof像素点在左图像和右图像上的投影点与该投影点的邻域内图像特征相似的至少一个tof投影点的深度值差异。
8、可选地，所述基于tof图像和预测出的第四可靠度执行左图像和右图像的第二立体匹配，得到所述场景的第一深度图，包括：基于tof图像中各tof像素点的值和预测出的各tof像素点的第四可靠度，计算执行第二立体匹配时各tof像素点对应的候选视差的匹配代价；根据所述匹配代价确定各tof像素点对应的视差值，并根据确定的视差值得到第一深度图。
9、可选地，所述基于左图像、右图像以及tof图像估计所述场景的深度图，还包括：将tof图像投影到左图像和右图像上，并且针对满足预定稠密度的tof投影点区域，基于左图像和右图像的图像特征执行插值，得到第二深度图；针对第一深度图，基于左图像和右图像的图像特征执行插值得到第三深度图；根据第二深度图和第三深度图，获得所述场景的第四深度图。
10、可选地，所述针对满足预定稠密度的tof投影点区域，基于左图像和右图像的图像特征执行插值，得到第二深度图，包括：针对每条tof投影点扫描线上的间隔在预定距离内的相邻tof投影点，基于左图像和右图像的图像特征执行插值；对插值后的tof投影点进行采样，以构建规则的tof投影点网格；在构建的各个网格上基于左图像和右图像的图像特征执行插值，得到所述第二深度图。
11、可选地，在基于左图像和右图像的图像特征执行插值时，基于待插值点与相邻参考点之间的空间距离和图像特征差异确定待插值点的深度值。
12、可选地，所述在不使用tof图像的情况下基于左图像和右图像来估计所述场景的深度图，包括：在不使用tof图像的情况下通过左图像和右图像的立体匹配获得所述场景的第五深度图。
13、可选地，所述深度估计方法还包括：更新估计的深度图中的不可靠深度值点的深度值，其中，所述估计的深度图包括第一深度图、第四深度图或第五深度图。
14、可选地，所述更新估计的深度图中的不可靠深度值点的深度值，包括：确定所述估计的深度图中的可靠深度值点和不可靠深度值点；基于所述可靠深度值点和所述不可靠深度值点的特征，使用第二神经网络预测所述不可靠深度值点的深度值；针对所述不可靠深度值点周围区域，基于左图像和右图像的图像特征执行插值来获得更新的深度图。
15、可选地，所述确定所述估计的深度图中的可靠深度值点和不可靠深度值点，包括：基于所述估计的深度图构建规则的深度值点网格，并确定规则网格上的可靠深度值点和不可靠深度值点。
16、根据本公开实施例的第二方面，提供了一种深度估计装置，所述深度估计装置包括：
17、图像获取单元，被配置为获取场景的飞行时间tof图像、左图像和右图像；
18、可靠性确定单元，被配置为确定tof图像中各tof像素点的第一可靠图；
19、深度估计单元，被配置为：根据所述第一可靠度确定是否基于左图像、右图像以及tof图像来估计所述场景的深度信息。
20、根据本公开实施例的第三方面，提供了一种电子设备，其特征在于，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的深度估计方法。
21、根据本公开实施例的第四方面，提供了一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的深度估计方法。
22、根据本公开各种实施例，可以更加高效地执行深度估计。此外，可以更好地综合tof图像和立体匹配的优点更准确地进行深度估计。另外，可以进一步更新不可靠深度值点，提高深度估计的准确性。
23、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
1.一种深度估计方法，包括：
2.如权利要求1所述的深度估计方法，其中，所述根据所述第一可靠度确定是否基于左图像、右图像以及tof图像来估计所述场景的深度图，包括：
3.如权利要求1所述的深度估计方法，其中，所述确定tof图像中各tof像素点的第一可靠度，包括：
4.如权利要求3所述的深度估计方法，其中，在沿第一方向计算第二可靠度和沿第二方向计算第一可靠度时，基于每个tof投影点在左图像和右图像处的图像特征差异、以及在该投影点扫描线上与每个tof投影点之间的距离在预定范围内的图像特征相似的tof投影点所对应的tof像素点的第三可靠度，计算每个tof投影点所对应的tof像素点的第二可靠度和第一可靠度。
5.如权利要求2所述的深度估计方法，其中，所述基于左图像、右图像以及tof图像估计所述场景的深度图，包括：
6.如权利要求5所述的深度估计方法，其中，所述执行左图像和右图像的第一立体匹配，包括：
7.如权利要求5所述的深度估计方法，其中，所述基于tof图像和第一立体匹配的结果使用第一神经网络预测各tof像素点的第四可靠度，包括：
8.如权利要求5所述的深度估计方法，其中，所述基于tof图像和预测出的第四可靠度执行左图像和右图像的第二立体匹配，得到所述场景的第一深度图，包括：
9.如权利要求5所述的深度估计方法，所述基于左图像、右图像以及tof图像估计所述场景的深度图，还包括：
10.如权利要求9所述的深度估计方法，其中，所述针对满足预定稠密度的tof投影点区域，基于左图像和右图像的图像特征执行插值，得到第二深度图，包括：
11.如权利要求9或10所述的深度估计方法，其中，在基于左图像和右图像的图像特征执行插值时，基于待插值点与相邻参考点之间的空间距离和图像特征差异确定待插值点的深度值。
12.如权要求1所述的深度估计方法，其中，所述在不使用tof图像的情况下基于左图像和右图像来估计所述场景的深度图，包括：
13.如权利要求8、9、12中任意一项权利要求所述的深度估计方法，还包括：更新估计的深度图中的不可靠深度值点的深度值，其中，所述估计的深度图包括第一深度图、第四深度图或第五深度图。
14.如权利要求13所述的深度估计方法，其中，所述更新估计的深度图中的不可靠深度值点的深度值，包括：
15.如权利要求14所述的深度估计方法，其中，所述确定所述估计的深度图中的可靠深度值点和不可靠深度值点，包括：
16.一种电子设备，其特征在于，包括：
17.一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到15中的任一权利要求所述的深度估计方法。
