本发明涉及生物医药，尤其涉及多模态生物医药数据的处理方法和装置。
背景技术：
1、传统的药物研发周期长、费用高，成功率低。近些年来，随着人工智能技术迅猛发展及大规模的生物医学数据的涌现，面向生物医学的深度神经网络在药物发现领域中显示出了广阔的前景。一些研究将从知识图谱中获取的显性知识或从生物医学文献中获取的隐性知识分别独立地用于人工智能药物发现，从而极大地提高人工智能模型对下游任务的预测精度。
2、但是，由于生物实体之间的多层次关系、多尺度语义、多视图信息以及稀疏的标签，独立整合显性知识或隐性知识阻碍了对生物医药数据表征的充分学习，因此，如何利用现有的多模态生物医药数据大幅度提高人工智能药物发现的多种下游预测任务的预测精度，是生物医药领域亟待解决的重要课题。
3、一些研究对显性知识和隐性知识分别进行编码后融合，以进行生物医药数据表征的充分学习，然而，由于输入模态和模型架构的差异，不同编码器在下游任务中表现不同，采用单一编码器构建的模型会导致其通用性受限。
技术实现思路
1、本发明提供多模态生物医药数据的处理方法和装置，用以解决现有技术中通用性较低的缺陷，实现通用性更高的多模态生物医药数据的处理。
2、本发明提供一种多模态生物医药数据的处理方法，包括：
3、获取多模态输入数据，所述多模态输入数据包括相互对应的分子结构数据、知识图谱数据以及文本数据；
4、采用预先构建的多维度分子编码模型对所述分子结构数据进行编码处理，得到结构特征表示；采用预先构建的知识图谱编码模型对所述知识图谱数据进行编码处理，得到知识特征表示；采用预先构建的文本编码模型对所述文本数据进行编码处理，得到文本特征表示；其中，所述多维度分子编码模型是基于混合专家模型，利用预设数量个分子编码器和海量多维度分子结构数据样本进行训练得到的；
5、对所述结构特征表示、所述知识特征表示和所述文本特征表示进行融合处理，得到融合特征表示；
6、基于所述融合特征表示，对多种下游任务进行处理。
7、根据本发明提供的一种多模态生物医药数据的处理方法，所述多维度分子编码模型包括门控模型和预设数量个专家模型；所述采用预先构建的多维度分子编码模型对所述分子结构数据进行编码处理，得到结构特征表示，具体包括：
8、基于所述门控模型对所述分子结构数据进行处理，得到每个所述分子编码器的权重；
9、根据所述权重选择前目标数量个所述专家模型，根据所述专家模型对应的分子编码器对所述分子结构数据进行编码处理，得到第一结构特征表示；
10、根据所述权重将所述目标数量个所述第一结构特征表示融合，得到所述结构特征表示。
11、根据本发明提供的一种多模态生物医药数据的处理方法，所述基于混合专家模型，利用预设数量个分子编码器和海量多维度分子结构数据样本进行训练得到所述多维度分子编码模型，具体包括；
12、获取多维分子结构数据样本及其对应文本描述样本；所述多维分子结构数据样本包括1d分子结构数据样本、2d分子结构数据样本和3d分子结构数据样本中的至少一种；
13、利用混合专家选择机制将预先训练的所述分子编码器组合，得到初始多维度分子编码模型；
14、将所述多维分子结构数据样本对应的文本描述样本输入至预先构建的文本编码器，得到文本嵌入信号；
15、将所述文本嵌入信号和所述多维分子结构数据样本输入至所述初始多维度分子编码模型，通过对比学习训练得到多维度分子编码模型。
16、根据本发明提供的一种多模态生物医药数据的处理方法，所述对所述结构特征表示、所述知识特征表示和所述文本特征表示进行融合处理，得到融合特征表示，之前还包括：
17、将所述结构特征表示和所述文本特征表示进行结构-文本对比。
18、根据本发明提供的一种多模态生物医药数据的处理方法，所述对所述结构特征表示、所述知识特征表示和所述文本特征表示进行融合处理，得到融合特征表示，具体包括：
19、将所述结构特征表示、所述知识特征表示以及所述文本特征表示输入至预先训练的融合模型，得到所述融合特征表示；
20、其中，所述融合模型融合有交叉注意力机制。
21、根据本发明提供的一种多模态生物医药数据的处理方法，所述下游任务包括下游生成任务；所述下游生成任务至少包括跨模态生成和文本生成。
22、本发明还提供一种多模态生物医药数据的处理装置，包括：
23、获取单元，用于获取多模态输入数据，所述多模态输入数据包括相互对应的分子结构数据、知识图谱数据以及文本数据；
24、编码单元，用于采用预先构建的多维度分子编码模型对所述分子结构数据进行编码处理，得到结构特征表示；采用预先构建的知识图谱编码模型对所述知识图谱数据进行编码处理，得到知识特征表示；采用预先构建的文本编码模型对所述文本数据进行编码处理，得到文本特征表示；其中，所述多维度分子编码模型是基于混合专家模型，利用预设数量个分子编码器和海量多维度分子结构数据样本进行训练得到的；
25、融合单元，用于对所述结构特征表示、所述知识特征表示和所述文本特征表示进行融合处理，得到融合特征表示；
26、任务单元，用于基于所述融合特征表示，对多种下游任务进行处理。
27、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多模态生物医药数据的处理方法。
28、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多模态生物医药数据的处理方法。
29、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多模态生物医药数据的处理方法。
30、本发明提供的多模态生物医药数据的处理方法和装置，通过获取多模态输入数据，所述多模态输入数据包括相互对应的分子结构数据、知识图谱数据以及文本数据；采用预先构建的多维度分子编码模型对所述分子结构数据进行编码处理，得到结构特征表示；采用预先构建的知识图谱编码模型对所述知识图谱数据进行编码处理，得到知识特征表示；采用预先构建的文本编码模型对所述文本数据进行编码处理，得到文本特征表示；其中，所述多维度分子编码模型是基于混合专家模型，利用预设数量个分子编码器和海量多维度分子结构数据样本进行训练得到的；对所述结构特征表示、所述知识特征表示和所述文本特征表示进行融合处理，得到融合特征表示；基于所述融合特征表示，对多种下游任务进行处理。本发明使用moe混合不同的分子编码器，选择最合适的编码器以适配不同下游任务，从而提升数据处理的通用性。
1.一种多模态生物医药数据的处理方法，其特征在于，包括：
2.根据权利要求1所述的多模态生物医药数据的处理方法，其特征在于，所述多维度分子编码模型包括门控模型和预设数量个专家模型；所述采用预先构建的多维度分子编码模型对所述分子结构数据进行编码处理，得到结构特征表示，具体包括：
3.根据权利要求1或2所述的多模态生物医药数据的处理方法，其特征在于，所述基于混合专家模型，利用预设数量个分子编码器和海量多维度分子结构数据样本进行训练得到所述多维度分子编码模型，具体包括；
4.根据权利要求1所述的多模态生物医药数据的处理方法，其特征在于，所述对所述结构特征表示、所述知识特征表示和所述文本特征表示进行融合处理，得到融合特征表示，之前还包括：
5.根据权利要求1所述的多模态生物医药数据的处理方法，其特征在于，所述对所述结构特征表示、所述知识特征表示和所述文本特征表示进行融合处理，得到融合特征表示，具体包括：
6.根据权利要求1所述的多模态生物医药数据的处理方法，其特征在于，所述下游任务包括下游生成任务；所述下游生成任务至少包括跨模态生成和文本生成。
7.一种多模态生物医药数据的处理装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述多模态生物医药数据的处理方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述多模态生物医药数据的处理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述多模态生物医药数据的处理方法。
