本发明涉及本发明属于边缘计算与人工智能相结合的，具体涉及一种基于强化学习的车联网计算卸载策略。
背景技术：
1、随着远程信息处理技术的飞速发展，对于模式识别、图像视频处理、目标检测、路线规划等延迟敏感的任务的计算需求不断攀升。这类任务要求在最短时间内产生结果，以协助车辆快速制定下一步的决策。然而，由于车辆计算资源的有限性，当面对计算密集型和延迟敏感型任务时，无法在短时间内在本地完成任务计算。为迎接这一挑战，移动边缘计算(mec)提供了一种解决方案，即将任务卸载到边缘服务器，以充分利用其强大的计算资源来完成任务计算。
2、在mec中，路边单元(rsu)扮演着提供更为丰富的计算和存储资源的角色。随着5g技术的不断演进，通信延迟显著降低，使得任务卸载变得更加实际可行。如何高效将计算任务卸载到边缘服务器上成为移动边缘计算领域的一个研究课题。在移动边缘计算背景下，不同的任务卸载算法在不同的应用场景下呈现出多样的效果。
3、传统方案在研究任务卸载方案时，通常仅考虑用户在不离开基站通信范围的情况下。然而，在车联网(iov)的背景下，智能车辆在高速公路上行驶速度非常快，时速可达100公里/小时，这给车辆与基站之间的通信带来了新的挑战。由于5g通信的通信范围较短，车辆与基站之间的通信时间可能非常有限，直接制约了数据的传输速度。此外，如果在rsu完成任务计算之前，车辆已经离开了当前基站的通信范围，计算结果将无法及时返回给车辆。因此，在车联网中，传统的任务卸载方案可能失效，迫切需要提出一种结合车辆运动的新型任务卸载方案。
4、现有技术存在的缺点和不足：
5、1.通信时间短：在高速公路上，车辆运动速度快，5g通信的通信范围较短，导致传统任务卸载方案中车辆与基站之间的通信时间非常有限。
6、2.传统任务卸载方案的限制：现有的任务卸载方案通常仅考虑用户在不离开基站通信范围的情况下，无法很好地适应高速行驶的智能车辆。
7、3.未考虑计算任务的紧急性：由于对时延敏感任务的计算需求不断增加，传统任务卸载方案未充分考虑紧急任务的处理，可能导致灾难性后果。
技术实现思路
1、本发明的目的在于：针对目前现有技术中存在的通信时间短、适应高速移动场景的不足，提供了一种基于强化学习的车联网计算卸载策略，提高任务卸载的智能性和效率，以适应车联网中对时延敏感任务计算的迫切需求。
2、本发明的技术方案如下：
3、一种基于强化学习的车联网计算卸载策略，包括以下步骤：
4、当有车辆计算任务到达时，对计算卸载任务进行判断，具有高时延敏感的任务不能卸载任务；
5、若车辆计算任务可进行卸载，则上传卸载请求查看当前rsu是否有可用计算资源；
6、若当前rsu没有足够的计算资源，则将计算任务上传至云服务器进行计算卸载任务，计算完成后将结果返回车辆；
7、若当前rsu有足够的计算资源，计算车辆在当前rsu内停留的时间，如果车辆可在当前rsu服务范围内完成计算卸载，则根据强化学习算法生成卸载策略，然后当前rsu返回卸载结果至车辆；
8、若车辆不能够在当前rsu服务范围内完成计算卸载，则利用lstm算法预测车辆轨迹，根据预测的车辆的下一时刻的位置，将计算卸载任务上传至预测位置的rsu服务器，在预测位置的rsu服务器范围内，根据强化学习生成卸载策略，最终将卸载决策返回车辆。
9、进一步的，所述若车辆不能够在当前rsu服务范围内完成计算卸载时，具体包括以下步骤：
10、车辆提交计算卸载任务，对计算卸载问题建模，建模包括分别对系统结构、网络通信、时延、能耗、负载均衡率进行模型构建；
11、构建卸载问题的优化目标，包括最小化用户时延、能耗及边缘服务器的负载均衡率；
12、使用lstm算法对车辆的移动性进行预测；
13、利用深度强化学习算法dqn进行训练，求解最优卸载策略；
14、根据最优卸载策略，生成卸载决策，将卸载决策返回车辆，车辆根据卸载决策完成卸载任务。
15、进一步的，所述对系统结构进行模型构建具体包括以下步骤：
16、区域内部署的n台边缘服务器分别为{e1,e2…en}，每台边缘服务器的覆盖半径为di，计算能力由最大cpu处理频率为fi，边缘服务器的计算资源有限，不能立刻执行的任务将被排入每台服务器维护的任务队列，队列长度为其中ck为队列中执行任务tk所需的cpu计算周期；
17、在每个时刻，边缘服务器ei所负责区域内可进行任务卸载的车辆集合为{vi,1,vi,2…vi,k},每个车辆vi,k当前时刻的任务为其中di,k为车辆产生的任务数据量大小，ci,k为完成车辆任务所需的cpu周期数，为车辆任务的最迟完成时间；车辆vi,k的计算能力为cpu处理频率ui,k，其任务队列pi,k的队列长度表示为pi,k；车辆vi,k可通过其计算状态信息{ui,k,pi,k}及任务状态信息表示；
18、所述对网络通信进行模型构建具体包括以下步骤：
19、计算智能车辆与rsu之间通过无线传输造成的通信延迟，rsu的位置记为车辆v的位置随时间变化，在t时刻，记录车辆位置为在时刻t车辆和rsu之间的距离为在无线通信中，智能车辆v在时隙t将任务卸载到rsum所产生的时延取决于上行链路的传输速率，车辆与rsu之间的通信方式采用无线通信，通信的传输速率ri为：
20、
21、其中，pi表示车辆v的传输功率，bi表示车辆与rsu之间的信道带宽，表示车辆与rsu间的信道增益，考虑瑞利信道衰落，a是信道增益系数，l表示光速，f是载波频率，为时刻t智能车辆v与rsu之间的欧氏距离，σ2表示传输的噪声，根据香农定理，可以得出通信传输速率ri。
22、进一步的，所述对时延进行模型构建具体包括以下步骤：
23、构建本地计算的时延模型：在t时刻，对于车辆vi,k的当前计算任务ti,k，根据其卸载决策的不同，会产生在本地执行计算或卸载计算两种不同的计算模式；在本地计算模式下，任务ti,k会进入车辆vi,k的任务队列pi,k,并根据先进先出的队列规则逐步执行队列内的任务，对于车辆vi,k和其产生的服务请求可得到该车辆在本地完成其服务的请求的时延为：
24、
25、其中，表示任务队列的等待时延，ci(t)表示任务所需cpu周期，fiv表示车辆自身的计算能力；
26、构建卸载至边缘服务器的时延模型：当车辆的服务需求被要求卸载到边缘服务器上进行处理时，车辆将计算请求服务的输入参数上传至边缘服务器所需的时间可由以下公式计算：
27、
28、其中，di表示第i辆车产生的计算任务大小，ri表示任务上传至rsu的传输速率；
29、在边缘服务器上处理车辆任务的执行时延的计算公式如下：
30、
31、其中，ci表示车辆任务所需的cpu周期数，fimec表示边缘服务器的计算能力；因此，如果车辆的计算服务卸载到边缘服务器执行，所产生的服务卸载时延为tioff-mec，
32、
33、其中，是车辆等待空闲信道的等待时延，表示车辆任务的传输时延，表示车辆任务在边缘服务器的处理时延，tiwait-q是车辆任务在边缘服务器中的排队时延；
34、构建卸载至云服务器的时延模型：如果用户的服务需求需要在云端执行，则计算任务最初通过无线信道从车辆传输至边缘服务器，随后，参数被各自的边缘计算节点通过有线信道转发到云端进行处理；当用户vi将计算任务卸载至云服务器执行时，产生的服务延迟主要包括三个部分：空闲无线信道的等待延迟、将计算任务上传到边缘服务器的传输延迟，以及边缘服务器和云服务器之间传输数据的往返时间rtt，计算公式如下所示：
35、
36、从边缘计算节点将输入参数数据转发到云端和从云端返回处理后的服务结果所产生的时间延迟往往相似，往返时间rtt的可用如下公式计算：
37、
38、其中，表示数据从边缘服务器传输到云端所产生的延迟。
39、进一步的，所述对能耗进行模型构建具体包括以下步骤：
40、构建本地计算能耗模型：
41、
42、功率ploc指在本地执行任务时的设备功耗，执行时间tiloc是执行任务的持续时间，故本地计算的能耗表示为
43、构建卸载至边缘服务器的能耗模型：将任务卸载至边缘服务器的能耗建模如下公式所示：
44、
45、其中为传输计算任务至边缘服务器所需的能耗，为任务在边缘服务器计算产生的能耗，故卸载计算产生的能耗表示为
46、构建卸载至云服务器的能耗模型：与将服务卸载到云服务器相关的能耗使用如下公式进行建模：
47、
48、其中，表示将任务从车辆传输到边缘服务器所需的能耗，表示云服务器计算任务产生的能耗，表示边缘服务器与云服务器之间的传输能耗。
49、进一步的，所述对负载均衡率进行模型构建具体包括以下步骤：
50、将边缘服务器在t时刻的负载均衡率lt作为协同卸载的重要考虑因素之一；
51、将负载均衡率作为评估边缘服务器负载均衡的度量指标，其中，表示边缘服务器的平均负载，xi表示第i台边缘服务器的负载，系统的整体负载均衡率lt可由如下公式计算得出：
52、
53、进一步的，所述构建卸载问题的优化目标具体包括以下步骤：
54、考虑移动用户的执行时延、能耗以及负载均衡作为控制变量，建立了一个效用函数，效用函数用于权衡移动用户的执行时间、能耗，以及服务器的负载之间的关系，在满足每项任务的最大可容忍延迟要求的前提下，问题q1的描述如下：
55、
56、
57、约束12a：任务只能在本地或边缘服务器执行，0表示任务在本地执行，1表示任务卸载到边缘服务器执行；
58、约束12b：不管是在本地或边缘服务器执行计算任务，任务完成时间不能超过最大容忍延迟；
59、约束12c：车辆的功率不能超过最大功率pmax；
60、约束12d：分配给移动车辆i的计算资源不能超过mec可提供的最大计算资源；
61、约束12e：时延、能耗、负载均衡的权重之和相加为1；
62、约束12f：时延、能耗、负载均衡的权重取值范围在[0,1]之间。
63、进一步的，所述使用lstm算法对车辆的移动性进行预测具体包括以下步骤：
64、首先得到环境中的智能车辆集合，然后得到智能车辆的历史轨迹和未来轨迹在训练过程中，将智能车辆在每个时期的历史轨迹输入到轨迹预测模型中，得到预测轨迹，然后利用每辆智能车辆的预测轨迹和未来轨迹来评估模型的损失，其计算公式为然后，通过lossv基于反向传播更新轨迹预测模型；
65、预测模型训练完成后，在评估过程中，将智能车辆的历史轨迹输入训练好的预测轨迹模型中，即可得到预测轨迹同样，mse用于评估训练模型的性能并应用于训练模型的反向传播，计算其损失
66、之后，将预测轨迹输入到rsu区域选择器中，得到rsu服务区域的预测位置，然后将计算任务卸载到预测位置的rsu服务器。
67、进一步的，所述利用深度强化学习算法dqn进行训练具体包括以下步骤：
68、设置强化学习算法的三个重要元素：状态、行为和奖励，然后利用经典的强化学习算法将最小系统成本问题转化为寻找最大q值问题；
69、状态：
70、在策略中，状态s＝{ssize,stime,sposition,sload}由以下几部分组成，分别是：任务大小，任务截止完成时间，车辆位置，边缘服务器负载率；
71、动作：
72、在每个时刻t，每个边缘服务器wi服务范围内的车辆{vi,1,vi,2…vi,k}做出卸载决策其中为二元卸载决策，即0表示在本地计算，1表示该任务进行卸载计算，如果计算任务进行卸载计算，则需要继续计算卸载任务的边缘服务器的位置，用数字1-n表示；
73、奖励：
74、一个时间段t的系统奖励是所有车辆的奖励之和，每个车辆在特定状态sn(t)执行动作an(t)后将得到系统奖励r(sn(t),an(t))，所以可得系统奖励如下：
75、
76、进一步的，所述利用深度强化学习算法dqn进行训练还包括以下步骤：
77、初始化q网络和目标q网络，以及经验回放缓存replay buffer d；
78、初始化状态空间s，动作空间a，q网络参数θ，目标网络参数θ′；
79、对于每个时间步t，执行以下步骤：
80、对于每个车辆v；
81、获取当前状态s(t)＝{ssize,stime,sposition,sload}；
82、使用ε-greedy策略选择动作a(t)＝q(s(t),θ)中的一个动作；
83、执行动作a(t)并观察新状态s′(t+1)和奖励r(t)；
84、将经验(s(t),a(t),r(t),s(t+1))存储到经验回放缓存d；
85、从d中抽取小批量经验(sj,aj,rj,s′j)进行训练；
86、计算目标q值：q′＝rj+γ*max(q′(s′′；θ′))；
87、计算梯度；
88、使用梯度下降更新q网络参数
89、每隔一定步数，更新目标网络参数；
90、更新时间步数t＝t+1。
91、与现有的技术相比本发明的有益效果是：
92、1、一种基于强化学习的车联网计算卸载策略，高速移动场景任务卸载：本专利旨在解决高速公路上车辆通信时间短的问题，通过结合车辆运动轨迹，提供一种适应高速移动场景的任务卸载方案，确保车辆在有限通信时间内能够高效完成任务；
93、2、一种基于强化学习的车联网计算卸载策略，强化学习与位置预测的结合应用：通过引入强化学习算法和lstm位置预测算法，本专利旨在实现在不同场景下的最佳任务卸载决策，兼顾车辆停留时间、rsu计算资源等因素，提高任务卸载的效率和准确性；
94、3、一种基于强化学习的车联网计算卸载策略，针对时延敏感任务的紧急处理：考虑到特定任务的紧急性，本专利在卸载决策生成过程中对不同类型的任务进行优先级判断，确保高时延敏感任务优先在本地完成，防止潜在的灾难性危害。
1.一种基于强化学习的车联网计算卸载策略，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于强化学习的车联网计算卸载策略，其特征在于，所述若车辆不能够在当前rsu服务范围内完成计算卸载时，具体包括以下步骤：
3.根据权利要求2所述的一种基于强化学习的车联网计算卸载策略，其特征在于，所述对系统结构进行模型构建具体包括以下步骤：
4.根据权利要求2所述的一种基于强化学习的车联网计算卸载策略，其特征在于，所述对时延进行模型构建具体包括以下步骤：
5.根据权利要求2所述的一种基于强化学习的车联网计算卸载策略，其特征在于，所述对能耗进行模型构建具体包括以下步骤：
6.根据权利要求2所述的一种基于强化学习的车联网计算卸载策略，其特征在于，所述对负载均衡率进行模型构建具体包括以下步骤：
7.根据权利要求2所述的一种基于强化学习的车联网计算卸载策略，其特征在于，所述构建卸载问题的优化目标具体包括以下步骤：
8.根据权利要求2所述的一种基于强化学习的车联网计算卸载策略，其特征在于，所述使用lstm算法对车辆的移动性进行预测具体包括以下步骤：
9.根据权利要求2所述的一种基于强化学习的车联网计算卸载策略，其特征在于，所述利用深度强化学习算法dqn进行训练具体包括以下步骤：
10.根据权利要求9所述的一种基于强化学习的车联网计算卸载策略，其特征在于，所述利用深度强化学习算法dqn进行训练还包括以下步骤：
