本发明涉及移动边缘计算，尤其涉及一种边缘计算任务卸载方法及装置。
背景技术：
1、在移动边缘计算(mobile edge computing，mec)领域，计算卸载一直是一个研究热点，许多研究都集中在设计最优任务卸载策略以提高用户体验(quality ofexperience，qoe)。然而，基于深度强化学习(deep reinforcement learning，drl)的卸载技术没有考虑到任务决策之间的关联性以及任务决策对方案整体效用的影响。
2、中国发明专利cn116489712b公开了一种基于深度强化学习的移动边缘计算任务卸载方法，通过计算出移动边缘计算环境中用户设备终端卸载计算任务并将计算任务上传到移动边缘计算mec服务器处理过程中消耗的时延消耗和能量消耗，在最大可容忍延迟和计算能力的约束下，以最小化移动边缘计算系统的能量消耗为目标建立目标函数，基于深度强化学习算法求解目标函数，进而得到用户设备终端的计算任务卸载方案，但其并未考虑到先前任务的卸载选择可能会增加边缘服务器上等待任务队列的长度，卸载到同一边缘服务器的后续任务的排队延迟将因此增加，进一步影响后续任务的卸载选择和方案整体效用，进而导致边缘计算服务器的利用效率降低，用户体验降低。
3、而目前，并没有一种将边缘服务器的当前任务等待队列状态随着任务卸载选择动态变化作为用户设备终端的计算任务卸载方案的考虑因素，从而实现边缘计算任务卸载的方案。
技术实现思路
1、本发明提供了一种边缘计算任务卸载方法及装置，通过将每一边缘服务器的当前任务队列长度作为服务延迟总时长的影响因素之一，继而得到更精准的边缘计算任务卸载方案，提升用户体验。
2、第一方面，本发明提供了一种边缘计算任务卸载方法，包括：
3、对所有任务进行预处理，获取每一任务所需的cpu周期数，对每一cpu周期数进行升序排列，确定每一用户设备对应的计算任务状态；
4、根据每一用户设备中的计算任务状态，确定每一任务对应的所有卸载选择，所述卸载选择包括每一任务在所述用户设备部署的本地服务器中完成卸载，或，在任一边缘服务器中完成卸载；
5、输入当前任务对应的数据状态集合以及所有卸载选择至预设总开销评估模型，获取所述预设总开销评估模型输出的，在不同卸载选择下当前任务对应的系统长期开销值；
6、将系统长期开销值最小的卸载选择确定为当前任务对应的当前卸载选择，以根据所述当前卸载选择分配用户设备的任务；
7、所述数据状态集合包括当前任务数据量、当前任务所需cpu周期数、当前设备传输功率、当前信道增益、当前设备计算能力以及边缘服务器的当前任务等待队列状态，其中，所述边缘服务器的任务等待队列状态包括每一边缘服务器的当前任务队列长度；
8、所述预设总开销评估模型是将初始状态对应的数据状态集合输入至初始网络参数对应的初始总开销评估模型，得到初始卸载选择，更新每一边缘服务器的任务队列长度，并更新下一计算任务状态，以预设网络参数作为目标参数，不断更新所述初始网络参数后确定的。
9、根据本发明提供的边缘计算任务卸载方法，所述输入当前任务对应的数据状态集合以及所有卸载选择至预设总开销评估模型，获取所述预设总开销评估模型输出的，在不同卸载选择下当前任务对应的系统长期开销值，包括：
10、根据当前任务对应的数据状态集合以及所有卸载选择确定每一用户对应的开销值；
11、根据每一用户对应的开销值，近似估计当前任务对应的系统长期开销值。
12、根据本发明提供的边缘计算任务卸载方法，所述根据每一用户对应的开销值，近似估计当前任务对应的系统长期开销值，包括：
13、
14、其中，utility为系统长期开销值，m为用户数量，λ为折扣因子，xi为卸载选择，ui为每一用户对应的开销值，ui,0为本地服务器中完成卸载的开销值，ui,j为在任一边缘服务器中完成卸载的开销值，其中，xi＝1表示任务在本地服务器中完成卸载，xi＝0表示任务在边缘服务器中完成卸载。
15、根据本发明提供的边缘计算任务卸载方法，所述根据当前任务对应的数据状态集合以及所有卸载选择确定每一用户对应的开销值，包括：
16、根据当前任务所需cpu周期数以及当前设备计算能力确定本地任务处理时间；根据当前任务所需cpu周期数以及周期能耗系数确定本地计算能耗，所述周期能耗系数是根据当前设备计算能力以及预设能量系数确定的；根据本地任务处理时间、本地计算能耗以及时间与能耗的权重确定本地服务器中完成卸载的开销值；
17、根据当前信道带宽、背景噪声功率、当前信道增益以及当前设备传输功率确定用户设备与边缘服务器之间的当前传输速率；根据所述当前传输速率、当前设备传输功率以及当前任务数据量确定边缘服务器计算能耗；
18、根据当前任务数据量以及所述当前传输速率确定当前传输时间，根据当前任务所需cpu周期数以及当前设备计算能力确定当前执行时间，根据当前任务队列长度以及当前设备计算能力确定当前排队时长，根据所述当前传输时间、所述当前执行时间以及所述当前排队时长确定边缘服务器中完成卸载的服务延迟总时长；
19、根据边缘服务器计算能耗、边缘服务器中完成卸载的服务延迟总时长以及时间与能耗的权重确定边缘服务器中完成卸载的开销值；
20、根据本地服务器中完成卸载的开销值、边缘服务器中完成卸载的开销值以及卸载选择确定每一用户对应的开销值。
21、根据本发明提供的边缘计算任务卸载方法，所述根据本地任务处理时间、本地计算能耗以及时间与能耗的权重确定本地服务器中完成卸载的开销值，包括：
22、ui,0＝αti,0+(1-α)ei,0
23、其中，ui,0为本地服务器中完成卸载的开销值，α为时间与能耗的权重，ti,0为本地任务处理时间，ei,0为本地计算能耗；
24、其中，vi为当前任务所需cpu周期数，di为当前物联网设备计算能力，其仿真取值为500mhz～800mhz，ei,0＝δivi，δi为周期能耗系数，δi＝η(di)2，η为预设能量系数。
25、根据本发明提供的边缘计算任务卸载方法，所述根据所述当前传输速率、当前设备传输功率以及当前任务数据量确定边缘服务器计算能耗，包括：
26、
27、其中，ei,j为边缘服务器计算能耗，ri,j为当前传输速率，qi为当前设备传输功率，μi为当前任务数据量；
28、其中，b表示当前信道带宽，w表示背景噪声功率，hi,j表示当前信道增益。
29、根据本发明提供的边缘计算任务卸载方法，所述根据所述当前传输时间、所述当前执行时间以及所述当前排队时长确定边缘服务器中完成卸载的服务延迟总时长，包括：
30、
31、其中，ti,j为边缘服务器中完成卸载的服务延迟总时长，为当前传输时间，为当前执行时间，为当前排队时长；其中，μi为当前任务数据量，ri,j为当前传输速率，vi为当前任务所需cpu周期数，pj为当前边缘服务器计算能力，其仿真取值为1ghz-2ghz，lj为当前任务队列长度。
32、根据本发明提供的边缘计算任务卸载方法，所述根据边缘服务器计算能耗、边缘服务器中完成卸载的服务延迟总时长以及时间与能耗的权重确定边缘服务器中完成卸载的开销值，包括：
33、ui,j＝ati,j+(1-α)ei,j
34、其中，ui,j为边缘服务器中完成卸载的开销值，ti,j为边缘服务器中完成卸载的服务延迟总时长，ei,j为边缘服务器计算能耗，α为时间与能耗的权重。
35、根据本发明提供的边缘计算任务卸载方法，所述根据本地服务器中完成卸载的开销值、边缘服务器中完成卸载的开销值以及卸载选择确定每一用户对应的开销值，包括：
36、ui＝xiui,0+(1-xi)ui,j
37、其中，ui为每一用户对应的开销值，ui,0为本地服务器中完成卸载的开销值，xi为卸载选择，其中，xi＝1表示任务在本地服务器中完成卸载，xi＝0表示任务在边缘服务器中完成卸载。
38、第二方面，提供了一种边缘计算任务卸载装置，包括：
39、获取单元，所述获取单元用于对所有任务进行预处理，获取每一任务所需的cpu周期数，对每一cpu周期数进行升序排列，确定每一用户设备对应的计算任务状态；
40、确定单元，所述确定单元用于根据每一用户设备中的计算任务状态，确定每一任务对应的所有卸载选择，所述卸载选择包括每一任务在所述用户设备部署的本地服务器中完成卸载，或，在任一边缘服务器中完成卸载；
41、输入单元，所述输入单元用于输入当前任务对应的数据状态集合以及所有卸载选择至预设总开销评估模型，获取所述预设总开销评估模型输出的，在不同卸载选择下当前任务对应的系统长期开销值；
42、分配单元，所述分配单元用于将系统长期开销值最小的卸载选择确定为当前任务对应的当前卸载选择，以根据所述当前卸载选择分配用户设备的任务；
43、所述数据状态集合包括当前任务数据量、当前任务所需cpu周期数、当前设备传输功率、当前信道增益、当前设备计算能力以及边缘服务器的当前任务等待队列状态，其中，所述边缘服务器的任务等待队列状态包括每一边缘服务器的当前任务队列长度；
44、所述预设总开销评估模型是将初始状态对应的数据状态集合输入至初始网络参数对应的初始总开销评估模型，得到初始卸载选择，更新每一边缘服务器的任务队列长度，并更新下一计算任务状态，以预设网络参数作为目标参数，不断更新所述初始网络参数后确定的。
45、本发明提供了一种边缘计算任务卸载方法及装置，通过服务延迟和能耗评估用户，考虑多移动用户多边缘服务器场景下的计算任务卸载，任务将作为一个整体在本地或者边缘服务器上处理，以最小化任务处理总延迟和设备总能耗为目标，将优化问题描述为一个混合整数非线性规划问题，本发明结合计算卸载系统的动态性和高复杂性，将任务优先级和贪婪机制引入到强化学习算法(double q-learning，ddqn)中，并且充分考虑到边缘服务器的当前任务队列长度对服务延迟总时长所产生的影响，充分考虑到任务卸载选择间的关联以及对方案整体效用的影响，提出了一种基于深度强化学习的计算卸载选择算法，通过寻求一个近似最优的计算任务卸载方案，以最小化设备总开销，提高边缘计算服务器的利用效率，提升用户服务体验水平。
1.一种边缘计算任务卸载方法，其特征在于，包括：
2.根据权利要求1所述的边缘计算任务卸载方法，其特征在于，所述输入当前任务对应的数据状态集合以及所有卸载选择至预设总开销评估模型，获取所述预设总开销评估模型输出的，在不同卸载选择下当前任务对应的系统长期开销值，包括：
3.根据权利要求2所述的边缘计算任务卸载方法，其特征在于，所述根据每一用户对应的开销值，近似估计当前任务对应的系统长期开销值，包括：
4.根据权利要求2所述的边缘计算任务卸载方法，其特征在于，所述根据当前任务对应的数据状态集合以及所有卸载选择确定每一用户对应的开销值，包括：
5.根据权利要求4所述的边缘计算任务卸载方法，其特征在于，所述根据本地任务处理时间、本地计算能耗以及时间与能耗的权重确定本地服务器中完成卸载的开销值，包括：
6.根据权利要求4所述的边缘计算任务卸载方法，其特征在于，所述根据所述当前传输速率、当前设备传输功率以及当前任务数据量确定边缘服务器计算能耗，包括：
7.根据权利要求4所述的边缘计算任务卸载方法，其特征在于，所述根据所述当前传输时间、所述当前执行时间以及所述当前排队时长确定边缘服务器中完成卸载的服务延迟总时长，包括：
8.根据权利要求4所述的边缘计算任务卸载方法，其特征在于，所述根据边缘服务器计算能耗、边缘服务器中完成卸载的服务延迟总时长以及时间与能耗的权重确定边缘服务器中完成卸载的开销值，包括：
9.根据权利要求4所述的边缘计算任务卸载方法，其特征在于，所述根据本地服务器中完成卸载的开销值、边缘服务器中完成卸载的开销值以及卸载选择确定每一用户对应的开销值，包括：
10.一种边缘计算任务卸载装置，其特征在于，包括：
