本技术涉及数据处理，具体涉及一种基于推理模型的数据请求方法及装置。
背景技术：
1、目前，推理模型在处理多路请求推理时，一般采用多线程的推理方式，即创建多个推理线程，一个请求信息对应一个线程，从而达到处理多路请求信息的目的，由于当前云端推理设备采用的是单指令多线程(single instruction multiple threads，simt)的硬件结构，这种结构，在一个计算指令周期中，参与计算的数据量越多越能充分利用显卡的计算资源，但是在多线程的推理方式下，一次计算只能计算一个请求信息，参与计算的信息量并没有提高，且多个线程之间还会抢占计算资源，从而导致推理模型利用率低，推理效率不高。
技术实现思路
1、有鉴于此，本技术实施例提供了一种数据请求方法，用于提高推理模型的推理效率。
2、第一方面，本技术实施例提供了一种基于推理模型的数据请求方法，包括：
3、获取多个请求信息；
4、基于预设组合策略组合所述多个请求信息，得到请求数据组；
5、将所述请求数据组输入目标推理模型，并获取所述目标推理模型输出的推理结果；所述目标推理模型用于通过一个推理线程并行对所述请求数据组中的所述多个请求信息进行处理；
6、根据所述推理结果获取所述多个请求信息中每一个请求信息对应的响应信息。
7、作为本技术实施例一种可选的实施方式，在获取所述多个请求信息之前，所述方法还包括：接收请求信息，并将所述请求信息写入请求缓存队列中；
8、所述获取多个请求信息，包括:
9、判断所述请求缓存队列中的请求信息的数量是否大于阈值数量；
10、若所述请求缓存队列中的请求信息的数量小于或等于所述阈值数量，则读取所述请求缓存队列中的全部请求信息；
11、若所述请求缓存队列中的请求信息的数量大于所述阈值数量，则从所述请求缓存队列中读取所述阈值数量个请求信息。
12、作为本技术实施例一种可选的实施方式，所述从所述请求缓存队列中读取所述阈值数量个请求信息，包括：
13、按照所述请求缓存队列中各个请求信息的写入顺序，由先到后从所述请求缓存队列中读取所述阈值数量个请求信息。
14、作为本技术实施例一种可选的实施方式，所述基于预设组合策略组合所述多个请求信息，得到请求数据组，包括：
15、基于预设转换规则将所述多个请求信息中的每一个请求信息转换为字符串，得到每一个请求信息对应的字符串；
16、将所述多个请求信息中的每一个请求信息对应的字符串处理为相同长度的字符串，得到所述多个请求信息中的每一个请求信息对应的补齐字符串；
17、组合所述多个请求信息中的每一个请求信息对应的补齐字符串，以获取所述请求数据组。
18、作为本技术实施例一种可选的实施方式，所述将所述多个请求信息中的每一个请求信息对应的字符串处理为相同长度的字符串，得到所述多个请求信息中的每一个请求信息对应的补齐字符串，包括：
19、获取目标长度，所述目标长度为所述多个请求信息对应的字符串中长度最长的字符串；
20、根据所述目标长度与所述多个请求信息中的每一个请求信息对应的字符串的长度的差值，获取多个请求信息中的每一个请求信息对应的补齐数量；
21、向所述多个请求信息中的每一个请求信息对应的字符串补充所述补齐数量个预设字符，以得到所述多个请求信息中的每一个请求信息对应的补齐字符串。
22、作为本技术实施例一种可选的实施方式，在根据所述推理结果获取所述多个请求信息中每一个请求信息对应的响应信息之后，所述方法还包括：
23、将所述多个请求信息中每一个请求信息对应的响应信息写入响应缓存队列。
24、作为本技术实施例一种可选的实施方式，在将所述多个请求信息中每一个请求信息对应的响应信息写入响应缓存队列之后，所述方法还包括：
25、向所述多个请求信息中每一个请求信息对应的请求设备发送对应的响应信息；
26、其中，任一请求信息对应的请求设备为发送该请求信息的设备。
27、第二方面，本技术实施例提供了一种基于推理模型的数据请求装置，包括：
28、获取单元，用于获取多个请求信息；
29、组合单元，用于基于预设组合策略组合所述多个请求信息，得到请求数据组；
30、处理单元，用于将所述请求数据组输入目标推理模型，并获取所述目标推理模型输出的推理结果；所述目标推理模型用于通过一个推理线程并行对所述请求数据组中的所述多个请求信息进行处理；
31、执行单元，用于根据所述推理结果获取所述多个请求信息中每一个请求信息对应的响应信息。
32、作为本技术实施例一种可选的实施方式，所述基于推理模型的数据请求装置还包括：
33、接收单元，用于接收请求信息，并将所述请求信息写入请求缓存队列中；
34、所述获取单元，还包括:
35、判断模块，用于判断所述请求缓存队列中的请求信息的数量是否大于阈值数量；
36、读取模块，用于当所述请求缓存队列中的请求信息的数量小于或等于所述阈值数量时，则读取所述请求缓存队列中的全部请求信息；
37、所述读取模块，还用于当所述请求缓存队列中的请求信息的数量大于所述阈值数量时，则从所述请求缓存队列中读取所述阈值数量个请求信息。
38、作为本技术实施例一种可选的实施方式，所述读取模块，具体用于按照所述请求缓存队列中各个请求信息的写入顺序，由先到后从所述请求缓存队列中读取所述阈值数量个请求信息。
39、作为本技术实施例一种可选的实施方式，所述组合单元，具体用于基于预设转换规则将所述多个请求信息中的每一个请求信息转换为字符串，得到每一个请求信息对应的字符串；将所述多个请求信息中的每一个请求信息对应的字符串处理为相同长度的字符串，得到所述多个请求信息中的每一个请求信息对应的补齐字符串；组合所述多个请求信息中的每一个请求信息对应的补齐字符串，以获取所述请求数据组。
40、作为本技术实施例一种可选的实施方式，所述组合单元，具体用于获取目标长度，所述目标长度为所述多个请求信息对应的字符串中长度最长的字符串；根据所述目标长度与所述多个请求信息中的每一个请求信息对应的字符串的长度的差值，获取多个请求信息中的每一个请求信息对应的补齐数量；向所述多个请求信息中的每一个请求信息对应的字符串补充所述补齐数量个预设字符，以得到所述多个请求信息中的每一个请求信息对应的补齐字符串。
41、作为本技术实施例一种可选的实施方式，所述执行单元，还用于将所述多个请求信息中每一个请求信息对应的响应信息写入响应缓存队列。
42、作为本技术实施例一种可选的实施方式，所述执行单元，还用于向所述多个请求信息中每一个请求信息对应的请求设备发送对应的响应信息；
43、其中，任一请求信息对应的请求设备为发送该请求信息的设备。
44、第三方面，本技术实施例提供了一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现上述任一项实施例所述的基于推理模型的数据请求方法。
45、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现上述任一项实施例所述的基于推理模型的数据请求方法。
46、第五方面，本技术实施例提供了一种车辆，包括：第二方面所述的基于推理模型的数据请求装置或第三方面所述的电子设备。
47、本技术实施例提供的基于推理模型的数据请求方法为：首先获取多个请求信息；再基于预设组合策略组合所述多个请求信息，得到请求数据组；将所述请求数据组输入目标推理模型，并获取所述目标推理模型输出的推理结果，最终根据所述推理结果获取所述多个请求信息中每一个请求信息对应的响应信息。相比于现有技术的创建多个推理线程，一个线程分别处理一个请求信息，本技术实施例提供的基于推理模型的数据请求方法将多个请求信息基于预设组合策略组合成为请求数据组，再将请求数据组输入目标推理模型进行推理，从而实现通过一个线程同时对多个请求信息进行推理，并获取所述多个请求信息的推理结果，从而避免了多个线程之间抢占计算资源的问题，提高了推理模型的推理效率。
1.一种基于推理模型的数据请求方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在获取所述多个请求信息之前，所述方法还包括：接收请求信息，并将所述请求信息写入请求缓存队列中；
3.根据权利要求2所述的方法，其特征在于，所述从所述请求缓存队列中读取所述阈值数量个请求信息，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于预设组合策略组合所述多个请求信息，得到请求数据组，包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述多个请求信息中的每一个请求信息对应的字符串处理为相同长度的字符串，得到所述多个请求信息中的每一个请求信息对应的补齐字符串，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，在根据所述推理结果获取所述多个请求信息中每一个请求信息对应的响应信息之后，所述方法还包括：
7.根据权利要求1-5任一项所述的方法，其特征在于，在将所述多个请求信息中每一个请求信息对应的响应信息写入响应缓存队列之后，所述方法还包括：
8.一种基于推理模型的数据请求装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现权利要求1-7任一项所述的基于推理模型的数据请求方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-7任一项所述的基于推理模型的数据请求方法。
11.一种车辆，其特征在于，包括：权利要求8所述的基于推理模型的数据请求装置或权利要求9所述的电子设备。
