本技术涉及虚拟现实,尤其是涉及一种用于运维业的虚拟现实应用方法、系统、终端及存储介质。
背景技术:
1、增强现实技术(augmented reality,简称ar)是一种通过在真实世界中叠加虚拟信息的方式来增强现实感知的技术。与虚拟现实技术不同,ar技术不是将用户完全沉浸在虚拟环境中,而是在现实环境中叠加虚拟信息,使用户能够同时感知现实和虚拟的内容。深度学习是一种机器学习算法分支,通过神经网络模型的训练和优化来处理复杂的模式识别任务。目前,深度学习技术在各个领域都取得了显著的成果,如图像识别、语音识别和自然语言处理等。
2、相关技术中,运维巡检过程巡检人员需要逐一核对设备的信息,对于巡检人员的专业素养较高,同时在很多巡检场景下,需要巡检人员主观判断设备是否异常,巡检作业较为费时费力。结合虚拟现实技术和深度学习技术,可以为运维业带来更多便利。
技术实现思路
1、为了解决运维业在进行巡检时不够智能便捷费时费力的问题,本技术提供了一种用于运维业的虚拟现实应用方法、系统、终端及存储介质。
2、在本技术的第一方面,提供一种用于运维业的虚拟现实应用方法,包括:
3、获取实际场景数据和摄像头的定位信息;
4、根据摄像头的定位信息,使用预设算法对所述实际场景数据进行处理,构建现实环境的空间模型;
5、将预设的设备数据面板添加到所述空间模型中;
6、获取实时场景数据,将所述实时场景数据与空间模型匹配后,使用预设算法将设备面板信息摆放至实际场景的对应位置上。
7、通过采用上述技术方案,通过深度学习模型实现对实际运维场景的精准感知,使得虚拟信息能够准确地叠加到实际场景中。这有助于运维人员更清晰地理解设备状态和运行情况。能够实时地获取现场数据,并将其与虚拟信息结合,为运维人员提供实时的设备状态和运行数据。这有助于及时发现问题、做出决策,并采取必要的措施,从而提高运维效率。
8、在一种可能的实现方式中,所述摄像头的定位信息包括位置和姿态,获取实际场景数据和摄像头的定位信息,包括:
9、获取实际场景的点云数据和图像信息;
10、根据所述点云数据,计算实际场景的深度信息;
11、将所述深度信息进行双边滤波处理,得到降噪后的深度数据;
12、根据相机内参,反射投影出每个像素点的三维坐标vertex map vk;
13、计算vertex法向量normal map nk;
14、将nk的行数、列数缩小一倍,得到vertex/normal map的三层金字塔;
15、根据所述三层金字塔,计算摄像头的位置和姿态。
16、在一种可能的实现方式中,根据摄像头的定位信息,使用预设算法对所述实际场景数据进行处理,构建现实环境的空间模型,包括:
17、根据所述摄像头的定位信息,计算摄像头的投影矩阵;所述定位信息包括摄像头的姿态和位置;
18、根据所述点云数据和摄像头的投影矩阵,计算每个像素点在三维空间中的对应位置;
19、将所述每个像素点在在三维空间中的对应位置与深度信息相结合,得到深度图像,所述深度图像中每个像素点包括空间位置信息和距离信息;
20、基于所述深度图像和相机定位信息,使用预设算法构建现实环境的空间模型;
21、对所述空间模型进行优化处理。
22、在一种可能的实现方式中,获取实时场景数据,将所述实时场景数据与空间模型匹配后,使用预设算法将设备面板信息摆放至实际场景的对应位置上,包括:
23、获取第一时间点的地面特征点云和图像数据;
24、提取所述第一时间点的图像数据中具有鲁棒性的特征点,并得到特征点的位置信息;
25、根据所述第一时间点的图像数据中特征点的位置信息,得到摄像头的定位信息;
26、将所述第一时间点的地面特征点云的特征点、图像数据的特征点与已有的地图特征点进行匹配,确定地面特征点云的特征点、图像数据的特征点在三维空间中的位置,并构建第一时间点的环境三维地图;
27、将预设的虚拟面板的模型和纹理信息与第一时间点的环境三维地图进行对齐;
28、通过将虚拟面板的位置和姿态与所述摄像头的位置和姿态进行匹配,将虚拟面板叠加到现实环境中的对应位置。
29、在一种可能的实现方式中,将所述实时场景数据与空间模型匹配,还包括:
30、获取第二时间点的地面特征点云和图像数据;
31、根据所述第一时间点的摄像头的定位信息、环境三维地图和第二时间点的地面特征点云、图像数据,得到第二时间点的环境三维地图。
32、在一种可能的实现方式中,还包括根据用户的行为信息实现信息交互:
33、获取用户的行为信息,所述行为信息包括动作信息、音频信息;
34、根据所述动作信息或音频信息中的唤醒词,匹配对应的交互指令;
35、根据所述交互指令,调取对应的反馈程序。
36、在一种可能的实现方式中,语音功能的交互包括:
37、获取用户的音频信息;
38、将所述音频信息识别成文字信息后输入至深度学习模型中,得到现场设备的数据反馈文字信息;
39、使用语音合成技术将所述数据反馈文字信息转换成音频后输出。
40、在本技术的第二方面,提供一种用于运维业的虚拟现实应用系统,包括:
41、获取模块,用于获取实际场景数据和摄像头的定位信息;
42、模型构建模块,用于根据摄像头的定位信息,使用预设算法对所述实际场景数据进行处理,构建现实环境的空间模型;
43、数据添加模块,用于将预设的设备数据面板添加到所述空间模型中;
44、现实匹配展示模块,用于获取实时场景数据,将所述实时场景数据与空间模型匹配后,使用预设算法将设备面板信息摆放至实际场景的对应位置上。
45、在本技术的第三方面,提供一种终端,具有使用虚拟现实提高运维业作业效率的特点。
46、本技术的上述申请目的三是通过以下技术方案得以实现的:
47、一种终端,包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行上述用于运维业的虚拟现实应用方法的计算机程序。
48、在本技术的第四方面,提供一种计算机存储介质,能够存储相应的程序,具有便于实现使用虚拟现实提高运维业作业效率的特点。
49、本技术的上述申请目的四是通过以下技术方案得以实现的:
50、一种计算机可读存储介质,存储有能够被处理器加载并执行上述任一种用于运维业的虚拟现实应用方法的计算机程序。
51、综上所述,本技术包括以下至少一种有益技术效果:通过深度学习模型实现对实际运维场景的精准感知,使得虚拟信息能够准确地叠加到实际场景中。这有助于运维人员更清晰地理解设备状态和运行情况。能够实时地获取现场数据,并将其与虚拟信息结合,为运维人员提供实时的设备状态和运行数据。这有助于及时发现问题、做出决策,并采取必要的措施,从而提高运维效率。
1.一种用于运维业的虚拟现实应用方法,其特征在于,包括:
2.根据权利要求1所述的用于运维业的虚拟现实应用方法,其特征在于,所述摄像头的定位信息包括位置和姿态,获取实际场景数据和摄像头的定位信息,包括:
3.根据权利要求2所述的用于运维业的虚拟现实应用方法,其特征在于,根据摄像头的定位信息,使用预设算法对所述实际场景数据进行处理,构建现实环境的空间模型,包括:
4.根据权利要求3所述的用于运维业的虚拟现实应用方法,其特征在于,获取实时场景数据,将所述实时场景数据与空间模型匹配后,使用预设算法将设备面板信息摆放至实际场景的对应位置上,包括:
5.根据权利要求4所述的用于运维业的虚拟现实应用方法,其特征在于,将所述实时场景数据与空间模型匹配,还包括:
6.根据权利要求1所述的用于运维业的虚拟现实应用方法,其特征在于,还包括根据用户的行为信息实现信息交互:
7.根据权利要求6所述的用于运维业的虚拟现实应用方法,其特征在于,语音功能的交互包括:
8.一种用于运维业的虚拟现实应用系统,其特征在于,包括:
9.一种终端,包括存储器和处理器,所述存储器上存储有计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。