本发明涉及充电，具体地涉及一种电动车辆充电方法、装置、设备、介质和程序产品。
背景技术：
1、随着科技的发展，电动汽车及附属充电基础设施的数量正在稳定增长。然而，在同一时间大量电动车进行充电会使得电网有重过载的风险，同时实时电价的推广则鼓励用户将充电时间转移到非高峰时段，使得充电的成本可调。
2、在相关技术中，充电计划往往只与电动汽车到达时间与预计充电时间有关，缺少一种满足用户需求并能够有效降低用户充电成本的充电方法。
技术实现思路
1、鉴于上述问题，本发明提供了电动车辆充电方法、装置、设备、介质和程序产品。
2、根据本发明的第一个方面，提供了一种电动车辆充电方法，包括：响应于接收到目标车辆的充电服务请求，获取上述目标车辆在第t时刻的充电状态信息、第t时刻的实际电价信息、历史电价信息和预计结束充电时刻，t为大于等于1的整数；利用电价预测模型对上述历史电价信息和上述第t时刻的实际电价信息进行处理，得到第t+1时刻的预测电价信息；将上述第t+1时刻的预测电价信息、上述第t时刻的充电状态信息、上述第t时刻的实际电价信息、上述历史电价信息和预计结束充电时刻输入策略模型，得到第t+1时刻的充电策略，其中，上述充电策略指示了上述目标车辆在第t+1时刻的目标充电功率； 在第t+1时刻按照上述目标充电功率对上述目标车辆执行充电操作；在确定t小于上述预计结束充电时刻的情况下，返回执行上述充电操作；以及在确定t等于上述预计结束充电时刻的情况下，结束充电。
3、根据本发明的实施例，上述将上述第t+1时刻的预测电价信息、上述第t时刻的充电状态信息、上述第t时刻的实际电价信息、上述历史电价信息和预计结束充电时刻输入策略模型，得到第t+1时刻的充电策略，包括：将上述第t+1时刻的预测电价信息、上述第t时刻的充电状态信息、上述第t时刻的实际电价信息、上述历史电价信息和预计结束充电时刻进行拼接，得到特征向量；以及将上述特征向量输入上述策略模型，得到上述充电策略。
4、根据本发明的实施例，上述方法还包括：基于马尔科夫状态转移模型，对上述第t+1时刻的目标充电功率、第t时刻的充电状态信息进行处理，得到上述目标车辆的充电状态转移概率；以及基于上述充电状态转移概率和与上述第t+1时刻的充电策略对应的第t+1时刻的预定充电状态，得到第t+1时刻的实际充电状态。
5、根据本发明的实施例，上述策略模型包括：演员网络、至少两个评论家网络和至少两个状态价值评估网络；上述将上述第t+1时刻的预测电价信息和上述第t时刻荷电状态信息输入策略模型，得到第t+1时刻的充电策略，包括：将上述特征向量输入演员网络，输出上述第t+1时刻的充电策略；其中，上述演员网络的模型参数是利用上述至少两个评论家网络和上述至少两个状态价值评估网络基于对上述演员网络输出的多个样本充电策略的价值评估结果训练得到的。
6、根据本发明的实施例，上述方法还包括：获取第t+1时刻的实际电价信息、上述目标车辆的电池损耗参数；基于目标奖励函数，根据上述第t+1时刻的实际电价信息、上述电池损耗参数和上述目标充电功率，得到与上述第t+1时刻的充电策略对应的奖励值；以及基于上述奖励值微调上述策略模型的模型参数。
7、根据本发明的实施例，上述电价预测模型为长短记忆网络；上述利用电价预测模型对上述历史电价信息和上述第t时刻的实际电价信息进行处理，得到第t+1时刻的预测电价信息，包括：利用上述长短记忆网络提取上述历史电价信息的时序特征；以及基于上述时序特征，根据上述第t时刻的实际电价信息，得到第t+1时刻的预测电价信息。
8、本发明的第二方面提供了一种电动车辆充电装置，包括：获取模块，用于响应于接收到目标车辆的充电服务请求，获取上述目标车辆在第t时刻的充电状态信息、第t时刻的实际电价信息、历史电价信息和预计结束充电时刻，t为大于等于1的整数；预测模块，用于利用电价预测模型对上述历史电价信息和上述第t时刻的实际电价信息进行处理，得到第t+1时刻的预测电价信息；策略生成模块，用于将上述第t+1时刻的预测电价信息、上述第t时刻的充电状态信息、上述第t时刻的实际电价信息、上述历史电价信息和预计结束充电时刻输入策略模型，得到第t+1时刻的充电策略，其中，上述充电策略指示了上述目标车辆在第t+1时刻的目标充电功率； 充电模块，用于在第t+1时刻按照上述目标充电功率对上述目标车辆执行充电操作；第一判断模块，用于在确定t小于上述预计结束充电时刻的情况下，返回执行上述充电操作；以及第二判断模块，用于在确定t等于上述预计结束充电时刻的情况下，结束充电。
9、根据本发明的实施例，上述策略生成模块包括：特征向量生成子模块，用于将上述第t+1时刻的预测电价信息、上述第t时刻的充电状态信息、上述第t时刻的实际电价信息、上述历史电价信息和预计结束充电时刻进行拼接，得到特征向量；充电策略生成子模块，用于将上述特征向量输入上述策略模型，得到上述充电策略。
10、根据本发明的实施例，上述装置还包括：充电转移概率生成模块，用于基于马尔科夫状态转移模型，对上述第t+1时刻的目标充电功率、第t时刻的充电状态信息进行处理，得到上述目标车辆的充电状态转移概率；实际充电状态模块，用于基于上述充电状态转移概率和与上述第t+1时刻的充电策略对应的第t+1时刻的预定充电状态，得到第t+1时刻的实际充电状态。
11、根据本发明的实施例，上述策略模型包括：演员网络、至少两个评论家网络和至少两个状态价值评估网络；上述策略生成模块包括：
12、充电策略生成子模块，用于将上述特征向量输入演员网络，输出上述第t+1时刻的充电策略；其中，上述演员网络的模型参数是利用上述至少两个评论家网络和上述至少两个状态价值评估网络基于对上述演员网络输出的多个样本充电策略的价值评估结果训练得到的。
13、根据本发明的实施例，上述装置还包括：电池损耗参数计算模块，用于获取第t+1时刻的实际电价信息、上述目标车辆的电池损耗参数；奖励值计算模块，用于基于目标奖励函数，根据上述第t+1时刻的实际电价信息、上述电池损耗参数和上述目标充电功率，得到与上述第t+1时刻的充电策略对应的奖励值；参数调整模块，用于基于上述奖励值微调上述策略模型的模型参数。
14、根据本发明的实施例，上述电价预测模型为长短记忆网络；上述预测模块，包括：时序特征提取子模块，用于利用上述长短记忆网络提取上述历史电价信息的时序特征；电价预测子模块，用于基于上述时序特征，根据上述第t时刻的实际电价信息，得到第t+1时刻的预测电价信息。
15、本发明的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，其中，上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。
16、本发明的第四方面还提供了一种计算机可读存储介质，其上存储有计算机程序或指令，上述计算机程序或指令被处理器执行时实现上述方法的步骤。
17、本发明的第五方面还提供了一种计算机程序产品，包括计算机程序或指令，上述计算机程序或指令被处理器执行时实现上述方法的步骤。
18、根据本发明实施例，通过获取目标车辆在t时刻的充电状态信息、实际电价信息历史电价信息和预计结束充电时刻，来利用训练好的电价预测模型进行预测，得到未来电价信息，并基于未来电价信息和当前充电状态生成t+1时刻的充电策略，在t+1时刻若未到预计结束时间则按照充电策略所指示的目标充电功率进行充电，可以在电价较低的时间段对电动车辆进行大功率充电，降低用户充电成本，进一步地减少电网重过载风险。
1.一种电动车辆充电方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述第t+1时刻的预测电价信息、所述第t时刻的充电状态信息、所述第t时刻的实际电价信息、所述历史电价信息和预计结束充电时刻输入策略模型，得到第t+1时刻的充电策略，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，所述策略模型包括：演员网络、至少两个评论家网络和至少两个状态价值评估网络；
5.根据权利要求1或4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述电价预测模型为长短记忆网络；
7.一种电动车辆充电装置，其特征在于，所述装置包括：
8.一种电子设备，包括：
9.一种计算机可读存储介质，其上存储有计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现根据权利要求1~6中任一项所述方法的步骤。
10.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现根据权利要求1~6中任一项所述方法的步骤。
