本申请涉及计算机视觉和模式识别，尤其涉及一种基于分层自适应优化的大模型连续学习方法。
背景技术：
1、随着深度学习技术的迅猛发展，大规模分布式模型的应用范围逐渐扩大，其在处理复杂任务时展现出了强大的能力。然而，随着模型规模的增长和任务的多样化，如何在保持模型性能的同时控制模型参数量、提高训练效率、减少算力需求，成为当前面临的重要问题。
2、现有的大模型学习方法在处理新任务时，通常需要进行模型的重新训练或扩展，这导致了模型参数的快速增长和计算资源的巨大消耗。同时，对于不同类型的任务，模型往往缺乏足够的灵活性，无法根据任务的特点进行自适应的调整。此外，传统的模型训练方法通常需要利用全部数据进行训练，这在数据量巨大的情况下不仅增加了训练时间，而且容易造成算力资源的浪费。
技术实现思路
1、本申请提供一种基于分层自适应优化的大模型连续学习方法，在任务数量大且任务相关性差异明显的情况下，有效控制了模型的无限制扩张。
2、第一方面，一种基于分层自适应优化的大模型连续学习方法，所述方法包括：
3、获取当前任务的训练集，构建连续学习模型，并对所述连续学习模型进行训练，利用训练完成的连续学习模型进行视觉问题图像分类；其中，所述训练过程具体包括：
4、利用预训练好的任务编码器对训练集的各部分进行表征提取，并将其存储到系统缓存中；其中，所述训练集中的训练数据包括文本指令部分、图片部分以及文本输出部分；
5、对当前任务与已知任务的各部分表征对应进行相似度评估，根据评估得分与预定阈值的相对大小确定模型结构扩张或模型结构复用；
6、当确定模型结构扩张时，随机初始化任务选择器中的当前任务表征，并利用预设的损失函数进行结构扩张训练；
7、反向传播计算模型梯度，对当前任务特定模块与可学习的当前任务表征进行梯度更新，并根据更新后的梯度进行模型优化直到完成训练。
8、可选地，在根据更新后的梯度进行模型优化直到完成训练之后，方法还包括：
9、对模型进行测试，测试样本输入部分与任务选择器中的已知任务表征计算相似度分数，选择相似度分数最大的任务对应的任务特定模块，完成模型推理。
10、可选地，利用预训练好的任务编码器对训练集的各部分进行表征提取，包括：
11、通过图像编码器与文本编码器对训练集进行表征提取。
12、可选地，对当前任务与已知任务的各部分表征对应进行相似度评估，包括：
13、利用预训练好的任务编码器对于训练数据的各部分进行表征提取得到文本指令部分表征、图片部分表征以及文本输出部分表征；
14、分别计算当前任务与已知任务的各部分表征的相似度，并得到文本指令部分相似度向量、图片部分相似度向量以及文本输出部分相似度向量；
15、对三种类型的相似度向量进行标准化并融合。
16、可选地，根据评估得分与预定阈值的相对大小确定模型结构扩张或模型结构复用，包括：
17、当三种类型的相似度向量进行标准化并融合后的评估得分小于预定阈值时，则确定进行模型结构扩张；
18、否则进行模型结构复用，在模型结构复用时，基于最相似任务的特定结构与任务表征进行当前轮次训练。
19、可选地，对三种类型的相似度向量进行标准化并融合，包括：
20、通过公式
21、
22、进行标准化，其中，表示相似度向量，μ，σ分别表示标准化参数；
23、并通过公式
24、
25、进行融合，其中，分别表示三种类型标准化后的向量。
26、可选地，利用预设的损失函数进行结构扩张训练中，所述损失函数具体包括：
27、lpull＝(1-γ(eimg(xv,kv)))+(1-γ(etext(xt,kt)))
28、其中，lpull表示损失函数，γ表示相似度度量，eimg表示任务表征的图像编码器，etext表示任务表征的文本编码器，xv、xt分别表示当前任务的样本输入部分，kv、kt分别表示随机初始化任务表征。
29、第二方面，提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面任一所述的基于分层自适应优化的大模型连续学习方法。
30、第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任一所述的基于分层自适应优化的大模型连续学习方法。
31、第四方面，提供了一种电子设备，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面任一所述的基于分层自适应优化的大模型连续学习方法。
32、相比现有技术，本申请至少具有以下有益效果：根据不同形式的任务进行分层次的模型扩展与训练，模型具有更高的灵活性，且每次无需使用全部数据即可进行训练，减少了对算力的需求。利用任务相似性进行模型结构扩展与复用的评估，避免了模型对于新任务的无限制扩张。推理时，模型根据样本的输入部分进行任务特定模块的选择，无需利用所有参数进行推理，缓解了增加参数对模型推理速度的影响。
1.一种基于分层自适应优化的大模型连续学习方法，其特征在于，所述方法包括：
2.根据权利要求1所述的大模型连续学习方法，其特征在于，在根据更新后的梯度进行模型优化直到完成训练之后，方法还包括：
3.根据权利要求1所述的大模型连续学习方法，其特征在于，利用预训练好的任务编码器对训练集的各部分进行表征提取，包括：
4.根据权利要求1所述的大模型连续学习方法，其特征在于，对当前任务与已知任务的各部分表征对应进行相似度评估，包括：
5.根据权利要求4所述的大模型连续学习方法，其特征在于，根据评估得分与预定阈值的相对大小确定模型结构扩张或模型结构复用，包括：
6.根据权利要求4所述的大模型连续学习方法，其特征在于，对三种类型的相似度向量进行标准化并融合，包括：
7.根据权利要求1所述的大模型连续学习方法，其特征在于，利用预设的损失函数进行结构扩张训练中，所述损失函数具体包括：
8.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
