本技术涉及网络安全和人工智能，尤其涉及一种多模态智能模型系统化安全防护方法、装置及设备。
背景技术：
1、多模态智能模型是指能够处理和理解多种类型数据（如文本、图像、音频等）的人工智能模型。这些模型能够同时利用不同类型的数据来提高对任务的理解和执行能力。
2、随着多模态智能模型的应用普及，针对多模态智能模型的安全防护成为热门研究方向。
技术实现思路
1、有鉴于此，本技术提供一种多模态智能模型系统化安全防护方法、装置及设备。
2、具体地，本技术是通过如下技术方案实现的：
3、根据本技术实施例的第一方面，提供一种多模态智能模型系统化安全防护方法，包括：
4、在目标多模态智能模型的安全检测阶段，依据训练好的距离感知判断模型所确定的检测数据与原始数据之间的感知距离，得到与原始数据之间的感知距离满足要求的检测数据，并利用该检测数据对所述目标多模态智能模型进行检测；其中，检测数据依据原始数据生成，所述感知距离判断模型依据原始特征到目标均值之间的距离，以及，检测特征到目标均值之间的距离，确定原始数据与检测数据之间的感知距离；所述原始特征为所述感知距离判断模型对输入的原始数据进行处理后得到的特征；所述检测特征为所述感知距离判断模型对输入的检测数据进行处理后得到的特征；所述目标均值为原始特征与检测特征在特征空间维度的均值；原始数据与检测数据之间的感知距离越小，原始数据与检测数据之间的相似度越高；
5、在检测阶段的检测结果为所述目标多模态智能模型存在安全问题的情况下， 利用训练好的安全编码器对目标多模态智能模型的输入进行安全编码防护，得到安全编码序列特征；其中，所述安全编码器采用多流多模态transformer网络架构，所述多流多模态transformer网络架构包括多个并行的transformer以及一个负责模态间信息交互的交叉注意力模块，该多个并行的transformer分别用于对不同模态的编码序列进行建模，所述交叉注意力模块用于对所述多个并行的transformer的输出进行整合；
6、对所述安全编码序列特征进行术语分词处理，并对得到的分词进行过滤检测；
7、在检测到需过滤的分词的情况下，对该分词进行过滤，并对过滤后的安全编码序列特征进行空缺补充，得到过滤处理后的安全编码序列特征；
8、将所述过滤处理后的安全编码序列特征输入到所述目标多模态智能模型，以使所述目标多模态智能模型输出与所述过滤处理后的安全编码序列特征对应的输出结果；
9、在检测阶段的检测结果为所述目标多模态智能模型存在安全问题的情况下，对目标多模态智能模型进行全方位综合性能评估，包括：
10、依据预先设定的多个评估维度，对所述目标多模态智能模型进行多维度评估，分别得到所述目标多模态智能模型对应所述多个评估维度中各评估维度的评分；
11、依据各评估维度的评分，利用相关度重归一化方法，确定所述目标多模态智能模型的综合评分。
12、根据本技术实施例的第二方面，提供一种多模态智能模型系统化安全防护装置，包括：
13、检测单元，用于在目标多模态智能模型的安全检测阶段，依据训练好的距离感知判断模型所确定的检测数据与原始数据之间的感知距离，得到与原始数据之间的感知距离满足要求的检测数据，并利用该检测数据对所述目标多模态智能模型进行检测；其中，检测数据依据原始数据生成，所述感知距离判断模型依据原始特征到目标均值之间的距离，以及，检测特征到目标均值之间的距离，确定原始数据与检测数据之间的感知距离；所述原始特征为所述感知距离判断模型对输入的原始数据进行处理后得到的特征；所述检测特征为所述感知距离判断模型对输入的检测数据进行处理后得到的特征；所述目标均值为原始特征与检测特征在特征空间维度的均值；原始数据与检测数据之间的感知距离越小，原始数据与检测数据之间的相似度越高；
14、防护单元，用于在检测阶段的检测结果为所述目标多模态智能模型存在安全问题的情况下，利用训练好的安全编码器对目标多模态智能模型的输入进行安全编码防护，得到安全编码序列特征；其中，所述安全编码器采用多流多模态transformer网络架构，所述多流多模态transformer网络架构包括多个并行的transformer以及一个负责模态间信息交互的交叉注意力模块，该多个并行的transformer分别用于对不同模态的编码序列进行建模，所述交叉注意力模块用于对所述多个并行的transformer的输出进行整合；对所述安全编码序列特征进行术语分词处理，并对得到的分词进行过滤检测；在检测到需过滤的分词的情况下，对该分词进行过滤，并对过滤后的安全编码序列特征进行空缺补充，得到过滤处理后的安全编码序列特征；将所述过滤处理后的安全编码序列特征输入到所述目标多模态智能模型，以使所述目标多模态智能模型输出与所述过滤处理后的安全编码序列特征对应的输出结果；
15、评估单元，用于在检测阶段的检测结果为所述目标多模态智能模型存在安全问题的情况下，对目标多模态智能模型进行全方位综合性能评估，包括：依据预先设定的多个评估维度，对所述目标多模态智能模型进行多维度评估，分别得到所述目标多模态智能模型对应所述多个评估维度中各评估维度的评分；依据各评估维度的评分，利用相关度重归一化方法，确定所述目标多模态智能模型的综合评分。
16、根据本技术实施例的第三方面，提供一种电子设备，包括处理器和存储器，其中，
17、存储器，用于存放计算机程序；
18、处理器，用于执行存储器上所存放的程序时，实现第一方面提供的方法。
19、根据本技术实施例的第四方面，提供一种计算机程序产品，所述计算机程序产品内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面提供的方法。
20、本技术实施例的多模态智能模型系统化安全防护方法，在目标多模态智能模型的安全检测阶段，通过构建并训练距离感知判断模型，利用训练好的距离感知判断模型确定原始数据与生成数据之间的感知距离，并得到与原始数据之间的感知距离满足要求的生成数据，利用所得到的生成数据对目标多模态智能模型进行检测，优化了目标多模态智能模型的检测效果；在目标多模态智能模型存在安全问题的情况下，一方面，通过利用安全编码器对目标多模态智能模型的输入进行安全编码防护，得到安全编码序列特征，对安全编码序列特征进行术语分词处理，并对得到的分词进行过滤检测，在检测到需过滤的分词的情况下，对该分词进行过滤，并对过滤后的安全编码序列特征进行空缺补充，得到过滤处理后的安全编码序列特征，进而，将过滤处理后的安全编码序列特征输入到目标多模态智能模型，以使目标多模态智能模型输出与过滤处理后的安全编码序列特征对应的输出结果，通过安全编码和分词过滤，有效实现了针对多模态智能模型的安全防护，提高了多模态智能模型的安全性；另一方面，通过依据预先设定的多个评估维度，对目标多模态智能模型进行多维度评估，分别得到目标多模态智能模型对应多个评估维度中各评估维度的评分，并依据各评估维度的评分，利用相关度重归一化方法，确定目标多模态智能模型的综合评分，实现了针对目标多模态智能模型的全方位综合性能评估，提高了模型性能评估的可靠性和准确性，通过检测、防御、评估一体化操作，系统性提升多模态智能模型的安全性。
1.一种多模态智能模型系统化安全防护方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述依据训练好的距离感知判断模型所确定的检测数据与原始数据之间的感知距离，得到与原始数据之间的感知距离满足要求的检测数据，包括：
3.根据权利要求1所述的方法，其特征在于，所述距离感知判断模型采用多级transformer块级联架构；
4.根据权利要求1所述的方法，其特征在于，所述安全编码器通过以下方式进行训练：
5.根据权利要求1所述的方法，其特征在于，所述对得到的分词进行过滤检测，包括：
6.根据权利要求1所述的方法，其特征在于，所述依据预先设定的多个评估维度，对所述目标多模态智能模型进行多维度评估，分别得到所述目标多模态智能模型对应所述多个评估维度中各评估维度的评分，包括：
7.根据权利要求1所述的方法，其特征在于，所述依据各评估维度的评分，利用相关度重归一化方法，确定所述目标多模态智能模型的综合评分，包括：
8.一种多模态智能模型系统化安全防护装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括处理器和存储器，其中，
10.一种计算机程序产品，其特征在于，所述计算机程序产品内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1~7任一项所述的方法。
