本发明涉及计算机,尤其涉及一种数据处理的方法和装置。
背景技术:
1、在车辆行驶过程中,车辆传感器产生大量传感器数据,包括:车辆速度、行驶路段坡度、车辆周围环境图像或音视频等等,传感器数据可以用于车辆自动驾驶算法的迭代开发与调优,还可以在交通事故中作为定责的依据。在处理传感器数据时,通常先将传感器数据存储在一起,或者根据传感器数据的数据类型,对传感器数据进行分类存储;然后根据业务需求,从已存储的传感器数据中获取所需数据。
2、在实现本发明的过程中,发明人发现现有技术至少存在如下问题:
3、传感器数据的数据量较大、数据类型较多,需要占用较多的存储空间和传输带宽,导致数据处理效率较低,数据处理成本较高。
技术实现思路
1、有鉴于此,本发明实施例提供一种数据处理的方法和装置,能够精简传感器数据的数据量,灵活、高效地生成传感器数据的仿真测试数据。
2、为实现上述目的,根据本发明实施例的第一方面,提供一种数据处理的方法,应用于客户端,包括:
3、响应于获取到实时传感器数据,将所述实时传感器数据转换为语义数据;
4、判断所述语义数据是否符合预先设置的完整性条件;
5、在所述语义数据符合所述完整性条件的情况下,将所述语义数据传输至预先设置的服务端。
6、可选地,在所述语义数据不符合所述完整性条件的情况下,所述方法还包括:
7、根据所述完整性条件,获取所述实时传感器数据的前驱传感器数据和/或后继传感器数据;
8、将所述语义数据作为第一语义数据,将所述前驱传感器数据和/或所述后继传感器数据转换为第二语义数据;
9、将所述第一语义数据和所述第二语义数据传输至所述服务端。
10、可选地,在将所述第一语义数据和所述第二语义数据传输至所述服务端之前,所述方法还包括:根据预先设置的环形缓存队列,将所述第一语义数据和所述第二语义数据封装为语义封装数据;将所述语义封装数据存储至预先设置的语义数据集;
11、将所述第一语义数据和所述第二语义数据传输至所述服务端,包括:判定所述语义数据集符合预先设置的传输条件;将所述语义数据集传输至所述服务端。
12、可选地,在判断所述语义数据是否符合预先设置的完整性条件之前,所述方法还包括:
13、确定所述语义数据对应的业务场景;
14、判定所述业务场景符合预先设置的数据收集条件。
15、根据本发明实施例的第二方面,提供一种数据处理的方法,应用于服务端,包括:
16、响应于获取到语义数据,根据所述语义数据生成对应的提示词,所述语义数据是根据实时传感器数据转换得到的,所述语义数据符合预先设置的完整性条件;
17、将所述提示词输入预先设置的通用大模型,使所述通用大模型根据所述提示词生成对应的仿真传感器数据;
18、将所述语义数据和所述仿真传感器数据封装为仿真测试数据。
19、可选地,所述语义数据存储在专用存储设备中;获取到所述语义数据,包括:
20、响应于检测到所述专用存储设备发送的连接请求,与所述专用存储设备建立数据连接;
21、根据所述数据连接,从所述专用存储设备中获取所述语义数据。
22、可选地,在将所述语义数据和所述仿真传感器数据封装为仿真测试数据之后,所述方法还包括:
23、根据所述仿真测试数据,创建仿真场景,生成仿真模型;
24、在所述仿真场景中,根据所述仿真模型,执行仿真测试。
25、根据本发明实施例的第三方面,提供一种数据处理的装置,应用于客户端,包括:
26、转换模块,用于响应于获取到实时传感器数据,将所述实时传感器数据转换为语义数据;
27、判定模块,用于判断所述语义数据是否符合预先设置的完整性条件;
28、传输模块,用于在所述语义数据符合所述完整性条件的情况下,将所述语义数据传输至预先设置的服务端。
29、可选地,所述装置还包括:
30、获取模块,用于根据所述完整性条件,获取所述实时传感器数据的前驱传感器数据和/或后继传感器数据;
31、第二转换模块,用于将所述语义数据作为第一语义数据,将所述前驱传感器数据和/或所述后继传感器数据转换为第二语义数据;
32、第二传输模块,用于将所述第一语义数据和所述第二语义数据传输至所述服务端。
33、可选地,所述装置还包括:封装模块,用于根据预先设置的环形缓存队列,将所述第一语义数据和所述第二语义数据封装为语义封装数据;存储模块,用于将所述语义封装数据存储至预先设置的语义数据集;
34、将所述第一语义数据和所述第二语义数据传输至所述服务端,包括:判定所述语义数据集符合预先设置的传输条件;将所述语义数据集传输至所述服务端。
35、可选地,所述装置还包括:
36、确定模块,用于确定所述语义数据对应的业务场景;
37、第二判定模块,用于判定所述业务场景符合预先设置的数据收集条件。
38、根据本发明实施例的第四方面,提供一种数据处理的装置,应用于服务端,包括:
39、第一生成模块,用于响应于获取到语义数据,根据所述语义数据生成对应的提示词;
40、第二生成模块,用于将所述提示词输入预先设置的通用大模型,使所述通用大模型根据所述提示词生成对应的仿真传感器数据;
41、封装模块,用于将所述语义数据和所述仿真传感器数据封装为仿真测试数据。
42、可选地,所述语义数据存储在专用存储设备中;获取到所述语义数据,包括:
43、响应于检测到所述专用存储设备发送的连接请求,与所述专用存储设备建立数据连接;
44、根据所述数据连接,从所述专用存储设备中获取所述语义数据。
45、可选地,所述装置还包括:
46、第三生成模块,用于根据所述仿真测试数据,创建仿真场景,生成仿真模型;
47、测试模块,用在所述仿真场景中,根据所述仿真模型,执行仿真测试。
48、根据本发明实施例的第五方面,提供一种电子设备,包括:
49、一个或多个处理器;
50、存储装置,用于存储一个或多个程序,
51、当所述一个或多个程序被所述一个或多个处理器执行时,所述一个或多个处理器实现上述任一实施例所述的方法。
52、根据本发明实施例的第六方面,提供一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例所述的方法。
53、上述发明中的一个实施例具有如下优点或有益效果:在客户端,接收实时传感器数据,将实时传感器数据转换为数据量较小的语义数据,能够减小传感器数据占用的存储空间,在语义数据完整的情况下,将语义数据传输至服务端,能够保证语义数据准确性、完整性;在语义数据不完整的情况下,获取在实时传感器之前和之后生成的传感器数据,生成第二语义数据,将第二语义数据也传输至服务端,能够提高语义数据的准确性和完整性,便于提高数据处理的准确性;对第一语义数据和第二语义数据进行封装,能够提高语义数据的准确性,避免多个业务场景的语义数据混合在一起;判定语义数据对应的业务场景符合数据收集条件,提高语义数据的准确性,避免获取到不需要的语义数据,降低传感器数据所需的存储空间,节省资源。在服务端,根据语义数据生成提示词,将提示词输入通用大模型,能够灵活、高效地生成仿真传感器数据,扩充已有的传感器数据;与专用存储设备建立连接,获取专用存储设备中的语义数据,能够提高语义数据的传输效率和传输安全性;根据仿真测试数据,执行仿真测试,能够提高仿真测试的效率和准确性。
54、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
1.一种数据处理的方法,应用于客户端,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,在所述语义数据不符合所述完整性条件的情况下,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,在将所述第一语义数据和所述第二语义数据传输至所述服务端之前,所述方法还包括:根据预先设置的环形缓存队列,将所述第一语义数据和所述第二语义数据封装为语义封装数据;将所述语义封装数据存储至预先设置的语义数据集;
4.根据权利要求2所述的方法,其特征在于,在判断所述语义数据是否符合预先设置的完整性条件之前,所述方法还包括:
5.一种数据处理的方法,应用于服务端,其特征在于,包括:
6.根据权利要求5所述的方法,其特征在于,所述语义数据存储在专用存储设备中;获取到所述语义数据,包括:
7.根据权利要求5所述的方法,其特征在于,在将所述语义数据和所述仿真传感器数据封装为仿真测试数据之后,所述方法还包括:
8.一种数据处理的装置,应用于客户端,其特征在于,包括:
9.一种数据处理的装置,应用于服务端,其特征在于,包括:
10.一种电子设备,其特征在于,包括:
11.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。