一种车联网中车辆任务卸载方法及装置与流程

1.本发明涉及车联网技术领域，特别涉及一种车联网中车辆任务卸载方法及装置。


背景技术：

2.车辆互联网是一种典型的工业物联网技术，在这种技术中，无需人工干预，车辆之间可以交换和共享无处不在的信息。在车联网环境下，行驶中的车辆每秒产生海量的传感器数据，为了拥有复杂驾驶环境下的智能视野，需要在较短时间内完成大量的数据传输、存储和处理等操作。车辆处理这些操作的时延直接影响着用户的体验。车载网络应用性能的提高主要依赖于高效的任务卸载决策，选择合适的卸载方案可以更好地降低车联网场景下任务处理的时延。
3.在使用传统的车辆任务卸载中，随着车辆数据的日益复杂和庞大，使得降低车辆任务处理时延变得越来越困难。
4.目前，车辆的本地计算、车联网与远端云计算平台的结合是实现数据处理分析的主要计算模式。然而将车辆任务卸载至终端时，由于终端处理数据量大且传输信道不足，车辆有限的计算能力以及车辆与云计算平台不稳定的回程链路将显著增加业务的处理时延，数据传输时延过大从而影响服务质量，这就限制了车辆任务的卸载时延，无法满足低时延要求的车联网应用需求。


技术实现要素：

5.本发明提供了一种车联网中车辆任务卸载方法及装置，以解决现有的车辆任务卸载方法时延过长，无法满足时延敏感型应用需求的技术问题。
6.为解决上述技术问题，本发明提供了如下技术方案：
7.一方面，本发明提供了一种车联网中车辆任务卸载方法，该方法包括：
8.将移动边缘计算引入车辆任务卸载场景，建立包括计算节点和待卸载任务车辆的交通环境；其中，所述计算节点作为边缘计算中的边缘节点，用于供所述待卸载任务车辆卸载任务，并对所述待卸载任务车辆所卸载的任务进行处理；
9.基于所述交通环境，以降低系统时延为目标，采用深度强化学习算法建立车辆任务卸载模型，实现通信与计算资源的协同优化；
10.利用所述车辆任务卸载模型，实现车联网中的车辆任务卸载。
11.进一步地，在所述交通环境中，所述待卸载任务车辆与计算节点以正交频分多址的方式通信连接。
12.进一步地，所述计算节点包括宏基站、路边单元和闲置车辆；
13.其中，所述宏基站、路边单元和闲置车辆的任务处理能力依次递减。
14.进一步地，所述车联网中车辆任务卸载方法，还包括：
15.按照对任务卸载时延的容忍度，将车辆任务分为不同优先级；当任务卸载时，优先考虑最高级别的任务，在较高级别的任务处理完后再处理下一级任务。
16.进一步地，在实现车联网中的车辆任务卸载时，根据任务时延敏感度和计算量进行任务卸载；
17.所述根据任务时延敏感度和计算量进行任务卸载，包括：
18.根据预设的计算量阈值和时延阈值对任务进行划分；
19.当车辆卸载任务的计算量大于预设的计算量阈值且时延需求高于预设的时延阈值时，先将任务卸载到基站进行处理；当车辆卸载任务的时延要求低于预设的时延阈值时，对于任务的卸载采取就近原则，卸载到路边单元或闲置车辆。
20.进一步地，在计算车辆任务卸载时延时，对于路径损失的计算，采用对数正态阴影路径损耗模型。
21.进一步地，所述深度强化学习算法为融合了残差网络(residual network，resnet)的深度循环q学习(deep recurrent q
‑
network，drqn)算法。
22.进一步地，在所述车辆任务卸载模型中，当前状态是待卸载任务车辆，动作是选择计算节点进行卸载，奖励则是环境对当前卸载的反馈值，下一状态是下一待卸载任务车辆。
23.进一步地，利用车辆任务卸载模型，实现车联网中的车辆任务卸载，包括：
24.初始化经验集，评估网络与目标网络，设置车辆任务卸载的状态空间为s，可用动作空间为a；在状态s选择动作a，执行动作，同时观测环境得到及时奖励以及新的状态s’，将当前的状态，选择的动作，得到的奖励及下一个状态，放入经验集中，从经验集中选取采样；判断当前是否为终止状态，若未达到终止要求，则通过损失函数来训练网络；损失函数是评估网络与目标网络的差值，并在一定次数后，将评估网络的参数更新给目标网络，直到终止状态。
25.另一方面，本发明还提供了一种车联网中车辆任务卸载装置，该装置包括：
26.交通环境建模模块，用于将移动边缘计算引入车辆任务卸载场景，建立包括计算节点和待卸载任务车辆的交通环境；其中，所述计算节点作为边缘计算中的边缘节点，用于供所述待卸载任务车辆卸载任务，并对所述待卸载任务车辆所卸载的任务进行处理；
27.车辆任务卸载模型建模模块，用于基于所述交通环境建模模块所构建的交通环境，以降低系统时延为目标，采用深度强化学习算法建立车辆任务卸载模型，实现通信与计算资源的协同优化；
28.车辆任务卸载模块，用于利用所述车辆任务卸载模型建模模块所构建的车辆任务卸载模型，实现车联网中的车辆任务卸载。
29.再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
30.又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
31.本发明提供的技术方案带来的有益效果至少包括：
32.本发明基于当前车联网场景中车辆任务处理低时延的要求，提出了一种基于移动边缘计算的车辆计算卸载方案，将移动边缘计算引入车辆任务卸载，设置边缘节点进行任务卸载，使计算任务的处理更接近终端，降低任务卸载中基站与车辆的数据传输时延。本发明首先对现实地图进行了简易的模拟，并对数据进行预处理，设置车辆任务卸载仿真环境。在充分考虑现实车辆任务卸载条件下，将车辆任务进行等级划分，对于高优先级的任务进
行优先处理，并综合考虑了任务分配和计算延迟，提出了优化问题。由于深度强化学习在车联网中应用广泛，本发明将原问题建模为马尔科夫决策过程，并提出了一种基于深度强化学习的多访问协同计算卸载策略，随后采用resnet对drqn算法进行了改进，进一步降低任务卸载时延。本发明的基于深度强化学习的车辆任务卸载方案可以有效的降低车辆任务卸载的时延，满足车联网任务处理中低时延的要求。
33.与传统的任务卸载策略相比，本发明提出的计算任务卸载策略可以极大程度上减少车辆任务卸载时延。对于同一交通区域有任务卸载需求的车辆，本发明利用延迟约束将对任务进行进一步划分，根据需求分别卸载给不同的任务节点，从而减少延迟。当计算量较大且时延需求较低时，先将任务卸载到基站进行处理，降低了任务的整体处理时延；当车辆卸载任务的时延要求较高时，卸载任务采取就近原则卸载到路边单元或限制车辆，减少系统的传输时延。
附图说明
34.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1是本发明实施例提供的车联网中车辆任务卸载方法的执行流程示意图；
36.图2是本发明实施例提供的计算节点示意图；
37.图3是本发明实施例提供的结合resnet的drqn神经网络结构示意图；
38.图4是本发明实施例提供的结合resnet的drqn算法进行车辆任务卸载的流程示意图。
具体实施方式
39.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
40.第一实施例
41.针对当前车联网场景中车辆任务处理低时延的要求，本实施例提供了一种车联网中车辆任务卸载方法，该方法可以由电子设备实现，该电子设备可以是终端或者服务器。该方法的执行流程如图1所示，包括以下步骤：
42.s1，将移动边缘计算引入车辆任务卸载场景，建立包括计算节点和待卸载任务车辆的交通环境；其中，计算节点作为边缘计算中的边缘节点，用于供待卸载任务车辆卸载任务，并对待卸载任务车辆所卸载的任务进行处理；
43.需要说明的是，边缘计算通过将计算节点部署在靠近用户终端的网络边缘，可以有效减少数据传输过程中的交叉拥堵，有利于解决时延敏感性任务的要求。边缘计算将云服务提供商、移动运营商与异构物联网终端进行深度融合，从而减少端到端的业务服务时延，缓解传输链路的流量压力，有效地提高信息时效性，满足多样化的应用需求，从而给用户带来良好的服务体验。
44.s2，基于交通环境，以降低系统时延为目标，采用深度强化学习算法建立车辆任务
卸载模型，实现通信与计算资源的协同优化；
45.s3，利用所述车辆任务卸载模型，实现车联网中的车辆任务卸载。
46.需要说明的是，本实施例在构建信息时效性的车辆任务卸载模型中，首先考虑不同车辆任务的优先级和任务时延敏感度。本实施例从互联网中获得公开的原始交通数据集，并对数据进行预处理；然后结合实际地图进行简易仿真，模拟交通环境；随后对模拟的交通环境进行简易设置，如同时卸载车辆数及各车辆待处理任务数；最后将构建的交通环境利用深度强化学习进行任务卸载。
47.具体地，对于本实施例的上述方法，其实现过程如下：
48.步骤1：建立基于移动边缘计算的交通环境。
49.搭建由1个宏基站，m个路边单元和k个闲置车辆组成的边缘节点网络，如图2所示，这些服务器都可同时执行多个计算任务，但不同服务器的计算能力不同，其中，基站拥有足够的资源和更为强大的计算能力，而路边单元和闲置车辆的资源和计算能力则是有限的。在本实施例中，各个计算节点设定如下：宏基站可以同时计算a个车辆任务，路边单元可以同时计算b个卸载任务，闲置车辆可以同时计算c个卸载任务，在本实施例中设置计算能力依次递减。
50.步骤2：设置模拟环境中待处理的任务量。
51.在本实施例的基于边缘计算的网络中，为了方便分析，假设每一时刻都有n个车辆需要进行任务卸载，定义n＝{1,2,...,n}代表所有待卸载任务的车辆集合。每个车辆都有j个计算任务需要完成卸载，定义α
i
∈{0,1,2}为车辆的卸载决策，其中，α
i
＝0代表车辆选择卸载到基站执行；α
i
＝1代表车辆选择卸载到路边单元执行；α
i
＝2代表车辆选择卸载到停靠着的闲置车辆执行。此外，本实施例对于车辆任务进行分级，设定紧急、正常和缓慢三个等级，分别代表了车辆应用对任务卸载时延的不同容忍度，其中，紧急级别容忍度最低。当任务卸载时，优先考虑最高级别的任务，在较高级别的任务处理完之前不会处理下一级任务。
52.步骤3：建立通信模型。
53.在车联网环境下，由于同一时刻会有多个车辆同时进行任务卸载，任务传输过程中会对路边单元和大量闲置车辆参与的协同计算迁移场景造成干扰。所以车辆与可卸载的计算节点以正交频分多址的方式连接，总带宽被划分为多个正交子信道，每个子信道最多可以分配给一个用户。每个信息被分成l个正交的子信道，定义l＝{1,2,...,l}代表子信道的集合。
54.步骤4：建立计算模型并生成优化问题。
55.协同计算卸载是根据每个计算卸载周期中不同的应用需求，决定分配计算任务的计算节点。对于有卸载需求的车辆，根据系统状态，可以采取卸载到基站、卸载到路边单元和闲置车辆三种方案。其中，对于应用延迟容忍度高的车辆，可以将所有任务都卸载到资源丰富的基站进行处理，并在较大的可容忍延迟下将结果返回给目标车辆。对于一些时延敏感型任务的车辆，将计算任务分配给闲置车辆或路边单元，以减少数据传输时延。
56.对于卸载任务分为两大部分，一部分在车辆本地进行处理，此时时延包括本地车辆的计算时延；另一部分是将车辆任务卸载到边缘节点进行计算，此时时延包括计算任务的传输时延以及在计算节点的计算时延。
57.对于计算节点则有三种卸载选择，不同卸载节点的计算能力不同，时延不同。假设
当前状态下，车辆节点i选择卸载到计算节点j上，那么车辆节点i和计算节点j的任务卸载时延如下：
58.d
ijtol
＝d
ijtra
d
ijcom
59.其中，d
ijtra
是传输时延，d
ijcom
是计算时延。
[0060][0061]
其中，tasks
i
是车辆i的卸载任务大小，com
j
是计算节点j的计算能力，r
ij
是节点数据传输速率。
[0062][0063]
由香农公式得，车辆i和计算节点j的数据传输速率为：
[0064]
r
ij
＝blog2(1 sinr
ij
)
[0065]
其中，b是信道带宽，取值为10khz；sinr
ij
是车辆i和计算节点j的信干噪比：
[0066][0067]
其中，p
i
和g
ij
分别为车辆i和计算节点j的传输功率和信道功率增益，即接收功率，传输功率取值为10dbm；p
n
和g
ij
分别为车辆n中除节点i外其余节点和计算节点j的传输功率和信道功率增益，即干扰功率，传输功率取值为10dbm；σ2是高斯白噪声功率，取值为
‑
174dbm。
[0068][0069]
其中，h为车辆与计算节点建立通信链路时的小尺度衰落，取值为10；d
ij
是两节点之间的距离，θ
ij
(d
ij
)是路径损失。
[0070]
由于在车辆移动过程中会存在大型建筑物或其他物品对传输路径造成阻碍，出现阴影效应，因此本实施例中采取对数正态阴影路径损耗模型。
[0071][0072]
其中，pl0是近地距离d0的参考路径损耗，取值62.3db；近地距离d0取值为5；v为路径损失指数取值为5；x
σ
为均值为0的高斯分布随机变量。
[0073]
步骤5：对于已经得到的优化问题进行求解。
[0074]
本实施例采用如图3所示的结合残差网络(residual network，resnet)的深度循环q学习(deep recurrent q
‑
network，drqn)算法进行求解。resnet利用残差网络加大卷积层深度，可提高drqn的特征提取能力，在这里，就是用resnet替换原drqn中的卷积层，提高算法的计算性能。在深度强化学习的优化处理过程中，通过智能agent和外部环境进行交互，在当前状态(state)下，基于一定策略(policy)，选择一个动作(action)执行，从环境中获得奖励(reward)并且改变当前状态，到达下一状态，然后不断循环直至结束的过程。其中当前状态是待卸载车辆，动作是选择卸载节点进行卸载，奖励则是环境对当前卸载的反馈
值，下一状态是下一待卸载车辆。
[0075]
在深度q学习(deep q
‑
network，dqn)框架中，假定状态是在每个时间步中对环境的完整观察，然而，对于车辆任务卸载环境，dqn框架往往不能很好地找到时间维度的变量，优化问题也就转为部分可观测的马尔可夫决策过程，将长短期记忆网络(long short
‑
term memory，lstm)引入dqn算法，即drqn算法则可以很好的解决这一问题。长短期记忆网络解决了循环神经网络的梯度消失问题，实现信息的长期记忆，在车辆任务卸载中选择drqn算法，最小程度的修改了dqn的结构，只将卷积层最后的全连接层替换为lstm。drqn利用lstm能够记忆时间轴信息的特性，通过结合前几个时刻的输入状态，尽可能完全地表示当前车辆任务卸载状态，更加符合实际中车辆任务卸载的情形。
[0076]
使用drqn算法卸载车辆任务的流程如图4所示，包括如下过程：
[0077]
初始化经验集，评估网络与目标网络，设置车辆任务卸载的状态空间为s，可用动作空间为a。在状态s选择动作，a执行动作，同时观测环境得到及时奖励而以及新的状态s’，将当前的状态，选择的动作，得到的奖励及下一个状态，放入经验集中，从经验集中选取采样。判断当前是否为终止状态，若未达到终止要求，则通过损失函数来训练网络；损失函数是评估网络与目标网络的差值，并在一定次数后，将评估网络的参数更新给目标网络，直到终止状态。
[0078]
同时，本实施例融入了resnet的drqn算法替换掉传统drqn算法的卷积层，进一步提高了算法特征提取能力，降低了任务卸载时延。
[0079]
综上，本实施例设计了基于深度强化学习的车辆任务卸载模型，为车辆任务卸载提供一个低时延的卸载方案。在融合了移动边缘计算的计算任务卸载方面，针对无线资源和计算资源进一步考虑通信与计算资源的协同优化。为了最大化系统的长期收益，降低系统时延，主要在深度强化学习的框架下，针对低时延需求，设计基于深度强化学习的通信与计算资源协同优化模型。并在构建信息时效性的车辆任务卸载模型中，采用结合了resnet的drqn算法进行任务卸载，为车联网环境下的车辆任务卸载提供了全新的、行之有效的技术方法。
[0080]
第二实施例
[0081]
本实施例提供了一种车联网中车辆任务卸载装置，该装置包括以下模块：
[0082]
交通环境建模模块，用于将移动边缘计算引入车辆任务卸载场景，建立包括计算节点和待卸载任务车辆的交通环境；其中，所述计算节点作为边缘计算中的边缘节点，用于供所述待卸载任务车辆卸载任务，并对所述待卸载任务车辆所卸载的任务进行处理；
[0083]
车辆任务卸载模型建模模块，用于基于所述交通环境建模模块所构建的交通环境，以降低系统时延为目标，采用深度强化学习算法建立车辆任务卸载模型，实现通信与计算资源的协同优化；
[0084]
车辆任务卸载模块，用于利用所述车辆任务卸载模型建模模块所构建的车辆任务卸载模型，实现车联网中的车辆任务卸载。
[0085]
本实施例的车联网中车辆任务卸载装置与上述第一实施例的车联网中车辆任务卸载方法相对应；其中，本实施例的车联网中车辆任务卸载装置中的各功能模块所实现的功能与上述第一实施例的车联网中车辆任务卸载方法中的各流程步骤一一对应；故，在此不再赘述。
[0086]
第三实施例
[0087]
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
[0088]
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法
[0089]
第四实施例
[0090]
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是rom、随机存取存储器、cd
‑
rom、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法
[0091]
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
[0092]
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0093]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0094]
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0095]
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。