本发明涉及数据处理，特别涉及一种基于知识图谱检索多模态信息的处理方法和装置。
背景技术：
1、多模态信息检索的一种实现方案为：采集不同类型（或不同模态）的信息源作为检索资源，如文本、图像、音频、视频等；并对每个信息源标注专业领域的文本标签；并在处理信息检索时基于用户输入的检索文本与各信息源文本标签的匹配度来对信息源进行筛选，并将匹配度较高的信息源向用户输出。这种常规实现方案在具体应用中暴露出一些问题：1）用户专业度不够、输入的检索文本专业特征不明显，这就可能导致检索文本与专业性较强的文本标签的匹配度偏低、从而无法为用户检索出的足够的信息源；2）文本标签太短、无法对检索资源的内容进行充分描述，这也可能导致文本标签与检索文本的匹配度偏低；3）采用逐资源匹配的方式进行检索，检索效率偏低。
技术实现思路
1、本发明的目的，就是针对现有技术的缺陷，提供一种基于知识图谱检索多模态信息的处理方法、装置、电子设备及计算机可读存储介质。本发明预先构建两个知识图谱分别为领域本体图和多模态文档图；其中，领域本体图基于一个树形结构的有向图来存储各指定领域的专业和非专业词汇（概念、属性、实例）；多模态文档图为一个无向图，多模态文档图中的节点与检索资源一一对应，每个节点为对应资源配置一个标题摘要文本即节点文本来对资源进行更充分的描述，且同类型（网页、文本、图像、音频、视频等）的节点之间可通过连接边权重来设置两两节点资源的相似度；本发明在收到用户输入的查询文本时，先基于领域本体图对查询文本进行领域拓展即为查询文本补充更多的辅助查询信息，再基于拓展查询文本对多模态文档图查询，并在查询过程中利用多模态文档图节点连接边权重提供关联检索辅助。通过本发明对专业度不足的检索文本进行辅助查询信息补充、对资源描述的扩展以及对资源的关联性辅助检索，不但可以提高检索匹配度、还可以提高检索效率。
2、为实现上述目的，本发明实施例第一方面提供了一种基于知识图谱检索多模态信息的处理方法，所述方法包括：
3、基于知识图谱结构构建领域本体图；
4、基于知识图谱结构构建多模态文档图；
5、接收第一查询文本；并基于所述领域本体图对所述第一查询文本进行领域拓展得到对应的第一拓展查询文本；并基于所述第一拓展查询文本和所述多模态文档图进行多模态信息检索得到对应的第一检索报告。
6、优选的，所述领域本体图包括多个第一节点和多个第一连接边；
7、每个所述第一节点对应一个概念词汇文本、属性词汇文本或实例词汇文本；所述第一节点包括第一节点标识、第一节点类型、第一节点文本、第一文本类型和第一文本向量；所述第一节点标识为所述第一节点的唯一标识；所述第一节点类型包括根节点和非根节点，所述第一节点类型为根节点的所述第一节点的数量唯一；所述第一节点文本为所述第一节点对应的概念词汇文本、属性词汇文本或实例词汇文本；所述第一文本类型包括概念、属性和实例；所述第一文本向量为根据预设的文本编码规则对所述第一节点文本进行编码后得到的编码向量；
8、每个所述第一连接边都为有向边并用于连接两个所述第一节点，连接的两个所述第一节点分别为对应的第一源节点和第一目标节点，所述第一连接边的方向为从所述第一源节点到所述第一目标节点的连接方向；所述第一连接边包括第一连接边标识、第一源节点标识、第一目标节点标识和第一连接边类型；所述第一连接边标识为所述第一连接边的唯一标识；所述第一源节点标识和所述第一目标节点标识分别对应的所述第一源节点和所述第一目标节点的所述第一节点标识；所述第一连接边类型包括下级概念连接边、下级实例连接边和下级属性连接边；
9、每个所述第一节点通过一个或多个所述第一连接边连接多个其他所述第一节点；所述第一节点类型为根节点的所述第一节点只通过一个或多个所述连接边类型为下级概念连接边的所述第一连接边连接多个其他所述第一节点。
10、优选的，所述多模态文档图包括多个第二节点和多个第二连接边；
11、每个所述第二节点对应一个文档信息源，所述文档信息源的信息源类型包括网页类型、电子文档类型、图像文件类型、音频文件类型和视频文件类型；所述第二节点包括第二节点标识、第二节点类型、第二节点时间、第二节点下载地址、第二节点文本和第二文本向量；所述第二节点标识为所述第二节点的唯一标识；所述第二节点类型包括网页类型、电子文档类型、图像文件类型、音频文件类型和视频文件类型；所述第二节点时间为对应的所述文档信息源的发布时间；所述第二节点存储地址为所述第二节点对应的所述文档信息源的下载地址；所述第二节点文本由所述第二节点对应的所述文档信息源的标题文本和摘要文本组成；所述第二文本向量为根据所述文本编码规则对所述第二节点文本进行编码后得到的编码向量；
12、每个所述第二连接边都为无向边并用于连接两个所述第二节点分别为对应的第一连接节点和第二连接节点，且每个所述第二连接边连接的两个所述第二节点的所述第二节点类型相同；所述第二连接边包括第二连接边标识、第一连接点标识、第二连接点标识和第二连接边权重；所述第二连接边标识为所述第一连接边的唯一标识；所述第一、第二连接点标识分别对应的所述第一、第二连接节点的所述第一节点标识；所述第二连接边权重为所述第二连接边对应的两个所述文档信息源的相似度；
13、每个所述第二节点通过一个或多个所述第二连接边连接多个其他所述第二节点。
14、优选的，所述基于知识图谱结构构建领域本体图，具体包括：
15、设置指定领域的根概念词汇文本；并通过大数据采集获得指定领域中除所述根概念词汇文本之外的多个所述概念词汇文本组成子概念词汇集；并通过大数据采集获得所述子概念词汇集的各个所述概念词汇文本在指定领域中的多个所述属性词汇文本和/或多个所述实例词汇文本组成对应的子概念属性实例集；所述子概念词汇集包括多个所述概念词汇文本；所述子概念属性实例集与所述概念词汇文本一一对应；所述子概念属性实例集包括多个所述属性词汇文本和/或多个所述实例词汇文本；
16、并从所述子概念词汇集中选出所述根概念词汇文本对应的多个下一级的所述概念词汇文本组成对应的一级概念词汇集，并将所述一级概念词汇集从所述子概念词汇集中删除；并从所述子概念词汇集选出与所述一级概念词汇集的各个所述概念词汇文本对应的多个下一级的所述概念词汇文本组成对应的二级概念词汇集，并将所有所述二级概念词汇集从所述子概念词汇集中删除；依次类推，直到所述子概念词汇集被清空为止；
17、并基于所述根概念词汇文本构建一个所述第一节点类型为根节点的所述第一节点记为第一根节点；并基于各个所述概念词汇文本构建一个所述第一节点类型为非根节点的所述第一节点记为第一非根节点；再将所述第一根节点作为对应的当前父节点，并将所述当前父节点对应的所述一级概念词汇集对应的各个所述第一非根节点作为对应的第一子节点，并按从所述当前父节点出发到各个所述第一子节点的连接方向构建一个对应的所述第一连接边；再将各个所述第一子节点作为对应的所述当前父节点，并将与所述当前父节点对应的所述二级概念词汇集对应的各个所述第一非根节点记为对应的第二子节点，并按从所述当前父节点出发到各个所述第二子节点的连接方向构建一个对应的所述第一连接边；依次类推，直到所有所述第一非根节点都与其对应的父节点和/或所有子节点完成连接为止；并由得到的所有所述第一节点组成对应的当前节点集合；并由得到的所有所述第一连接边组成对应的当前连接边集合；
18、并对所有所述第一非根节点进行遍历；并在遍历时，将当前遍历的所述第一非根节点作为对应的当前子概念节点；并将所述当前子概念节点对应的所述子概念属性实例集作为对应的当前属性实例集；并基于所述当前属性实例集的各个所述属性词汇文本构建一个所述第一节点类型为非根节点的所述第一节点记为对应的第一子概念属性节点，并基于所述当前属性实例集的各个所述实例词汇文本构建一个所述第一节点类型为非根节点的所述第一节点记为对应的第一子概念实例节点，并按从所述当前子概念节点出发到各个所述第一子概念属性节点的连接方向构建一个对应的所述第一连接边，并按从所述当前子概念节点出发到各个所述第一子概念实例节点的连接方向构建一个对应的所述第一连接边；并将得到的所有所述第一子概念属性节点和所有所述第一子概念实例节点向所述当前节点集合添加；并将得到的所有所述第一连接边向所述当前连接边集合添加；
19、并在所述当前节点集合中，为各个所述第一节点分配一个唯一标识作为当前所述第一节点的所述第一节点标识；并将各个所述第一节点对应的所述根概念词汇文本、所述概念词汇文本、所述属性词汇文本或所述实例词汇文本作为当前所述第一节点的所述第一节点文本，并在当前所述第一节点文本为一个所述根概念词汇文本或所述概念词汇文本时将对应的所述第一文本类型设为概念，并在当前所述第一节点文本为一个所述属性词汇文本时将对应的所述第一文本类型设为属性，并在当前所述第一节点文本为一个所述实例词汇文本时将对应的所述第一文本类型设为实例；并按所述文本编码规则对各个所述第一节点文本进行编码得到对应的第一编码向量，并将各个所述第一编码向量作为对应的所述第一节点的所述第一文本向量；
20、并在所述当前连接边集合中，为各个所述第一连接边分配一个唯一标识作为当前所述第一连接边的所述第一连接边标识；并基于各个所述第一连接边对应的所述第一源节点和所述第一目标节点的所述第一节点标识对当前所述第一连接边的所述第一源节点标识和所述第一目标节点标识进行设置；并对各个所述第一连接边对应的所述第一源节点和所述第一目标节点对应的两个所述第一文本类型进行识别；若所述第一源节点对应的所述第一文本类型为概念且所述第一目标节点对应的所述第一文本类型为概念则设将当前所述第一连接边的所述第一连接边类型设为下级概念连接边；若所述第一源节点对应的所述第一文本类型为概念且所述第一目标节点对应的所述第一文本类型为实例则设将当前所述第一连接边的所述第一连接边类型设为下级实例连接边；若所述第一源节点对应的所述第一文本类型为概念且所述第一目标节点对应的所述第一文本类型为属性则设将当前所述第一连接边的所述第一连接边类型设为下级属性连接边。
21、优选的，所述基于知识图谱结构构建多模态文档图，具体包括：
22、定期对指定领域中在最近第一时段内发布的多模态文档进行大数据采集构成对应的第一采集文档集并保存；所述第一采集文档集包括多个第一采集文档；每个所述第一采集文档对应一个文档发布时间、一个文档类型和一个文档保存地址；所述最近第一时段的结束时间默认为当前时间，所述最近第一时段的起始时间与结束时间的时间间隔为预设的第一时长；所述文档类型包括网页类型、电子文档类型、图像文件类型、音频文件类型和视频文件类型；
23、并对所述多模态文档图是否已经完成初始构建进行识别；若所述多模态文档图尚未进行初始构建，则基于所述第一采集文档集初始化所述多模态文档图；若所述多模态文档图已经完成初始构建，则基于所述第一采集文档集更新所述多模态文档图。
24、进一步的，所述基于所述第一采集文档集初始化所述多模态文档图，具体包括：
25、对所述第一采集文档集中的各个所述第一采集文档进行标题和摘要文本识别并由识别出的标题和摘要文本组成对应的第一标题摘要文本，并根据所述文本编码规则对所述第一标题摘要文本进行编码得到对应的第二编码向量；
26、并为所述第一采集文档集中的各个所述第一采集文档生成一个对应的所述第二节点；并为各个所述第二节点分配一个唯一标识作为当前所述第二节点的所述第二节点标识；并将各个所述第二节点的所述第二节点类型、所述第二节点时间、所述第二节点下载地址、所述第二节点文本和所述第二文本向量设为对应的所述第一采集文档对应的所述文档类型、所述文档发布时间、所述文档保存地址、所述第一标题摘要文本和所述第二编码向量；
27、并将所述第二节点类型相同的多个所述第二节点聚为一类组成对应的第一类节点集合；
28、并对各个所述第一类节点集合的所有所述第二节点进行遍历；并在遍历时，将当前遍历的所述第二节点作为对应的当前节点，并将当前所述第一类节点集合中任一个尚未与所述当前节点完成连接边构建的其他所述第二节点记为对应的第一其他节点；并对所述当前节点的所述第二文本向量与各个所述第一其他节点的所述第二文本向量进行向量相似度计算并将计算结果作为对应的第一相似度；并将未超过预设的第一相似度阈值的所述第一相似度删除；并按相似度从高到低的顺序对剩余的所有所述第一相似度进行排序得到对应的第一相似度序列；并对所述第一相似度序列的序列长度进行统计得到对应的第一序列长度；并在所述第一序列长度不为0时，对所述第一序列长度是否大于预设的第一数量进行识别；若所述第一序列长度大于所述第一数量，则将所述第一相似度序列中排位靠前的所述第一数量的所述第一相似度提取出来组成对应的第二相似度序列；若所述第一序列长度小于或等于所述第一数量，则将所述第一相似度序列作为对应的所述第二相似度序列；并为所述当前节点与所述第二相似度序列的各个所述第一相似度对应的所述第一其他节点构建一个对应的所述第二连接边，并为各个所述第二连接边分配一个唯一标识作为对应的所述第二连接边标识，并基于各个所述第二连接边对应的所述当前节点和所述第一其他节点的两个所述第二节点标识对当前所述第二连接边的所述第一、第二连接点标识进行设置，并基于各个所述第二连接边对应的所述第一相似度对当前所述第二连接边的所述第二连接边权重进行设置；并在遍历结束时，由当前所述第一类节点集合对应的所有所述第二连接边组成对应的第一类连接边集合；所述第一数量为大于0的整数；
29、并由得到的所有所述第一类节点集合和所有所述第一类连接边集合组成初始的所述多模态文档图。
30、进一步的，所述基于所述第一采集文档集更新所述多模态文档图，具体包括：
31、对所述第一采集文档集中的各个所述第一采集文档进行标题和摘要文本识别并由识别出的标题和摘要文本组成对应的第二标题摘要文本，并根据所述文本编码规则对所述第二标题摘要文本进行编码得到对应的第三编码向量；
32、并为所述第一采集文档集中的各个所述第一采集文档生成一个对应的所述第二节点并记为对应的增量节点；并为各个所述增量节点分配一个唯一标识作为当前所述增量节点的所述第二节点标识；并将各个所述增量节点的所述第二节点类型、所述第二节点时间、所述第二节点下载地址、所述第二节点文本和所述第二文本向量设为对应的所述第一采集文档对应的所述文档类型、所述文档发布时间、所述文档保存地址、所述第二标题摘要文本和所述第三编码向量；
33、并将当前所述多模态文档图中所述第二节点时间满足最近第二时段的所有所述第二节点都记为对应的存量节点；并由所述第二节点类型相同的多个所述增量节点和/或多个所述存量节点聚为一类组成对应的第二类节点集合；所述最近第二时段的结束时间默认为当前时间，所述最近第二时段的起始时间与结束时间的时间间隔为预设的第二时长；
34、并对各个所述第二类节点集合的所有所述第二节点进行遍历；并在遍历时，将当前遍历的所述第二节点作为对应的当前节点，并将当前所述第二类节点集合中任一个尚未与所述当前节点完成连接边构建的其他所述第二节点记为对应的第二其他节点；并对所述当前节点的所述第二文本向量与各个所述第二其他节点的所述第二文本向量进行向量相似度计算并将计算结果作为对应的第二相似度；并将未超过预设的第一相似度阈值的所述第二相似度删除；并按相似度从高到低的顺序对剩余的所有所述第二相似度进行排序得到对应的第三相似度序列；并对所述第三相似度序列的序列长度进行统计得到对应的第二序列长度；并在所述第二序列长度不为0时，对所述第二序列长度是否大于预设的第一数量进行识别；若所述第二序列长度大于所述第一数量，则将所述第三相似度序列中排位靠前的所述第一数量的所述第二相似度提取出来组成对应的第四相似度序列；若所述第二序列长度小于或等于所述第一数量，则将所述第三相似度序列作为对应的所述第四相似度序列；并为所述当前节点与所述第四相似度序列的各个所述第二相似度对应的所述第二其他节点构建一个对应的所述第二连接边，并为各个所述第二连接边分配一个唯一标识作为对应的所述第二连接边标识，并基于各个所述第二连接边对应的所述当前节点和所述第二其他节点的两个所述第二节点标识对当前所述第二连接边的所述第一、第二连接点标识进行设置，并基于各个所述第二连接边对应的所述第二相似度对当前所述第二连接边的所述第二连接边权重进行设置；并在遍历结束时，由当前所述第二类节点集合对应的所有所述第二连接边组成对应的第二类连接边集合；
35、并将得到的所有所述增量节点和所有所述第二类连接边集合向当前所述多模态文档图中添加得到更新后的所述多模态文档图。
36、优选的，所述基于所述领域本体图对所述第一查询文本进行领域拓展得到对应的第一拓展查询文本，具体包括：
37、根据所述文本编码规则对所述第一查询文本进行编码得到对应的第一查询编码向量；
38、并对所述第一查询编码向量与所述领域本体图中各个所述第一文本类型为概念的所述第一节点的所述第一文本向量进行向量相似度计算并将计算结果作为对应的第一概念相似度；并将其中相似度最高的所述第一概念相似度作为对应的最大概念相似度；
39、并对所述最大概念相似度是否超过预设的第二相似度阈值进行识别；
40、若所述最大概念相似度超过所述第二相似度阈值，则将所述最大概念相似度对应的所述第一节点作为对应的当前检索节点；
41、若所述最大概念相似度未超过所述第二相似度阈值，则对所述第一查询编码向量与所述领域本体图中各个所述第一文本类型为属性或实例的所述第一节点的所述第一文本向量进行向量相似度计算并将计算结果作为对应的第一属性/实例相似度；并将其中相似度最高的所述第一属性/实例相似度作为对应的最大属性/实例相似度；并对所述最大属性/实例相似度是否超过所述第二相似度阈值进行识别；若所述最大属性/实例相似度超过所述第二相似度阈值，则将所述最大属性/实例相似度对应的所述第一节点作为对应的所述当前检索节点；若所述最大属性/实例相似度未超过所述第二相似度阈值，则设置所述当前检索节点为空；
42、对所述当前检索节点是否为空进行识别；
43、若所述当前检索节点为空则设置对应的所述第一拓展查询文本为所述第一查询文本；
44、若所述当前检索节点不为空，则对所述当前检索节点的所述第一文本类型进行识别；若所述第一文本类型为概念，则将与所述当前检索节点连接的所有所述第一节点记为对应的第一下级检索节点，并将所述当前检索节点和对应的所有所述第一下级检索节点的所述第一节点文本提取出来组成对应的第一节点文本序列；若所述第一文本类型为属性或实例，则与所述当前检索节点连接的上一级所述第一文本类型为概念的所述第一节点作为对应的父级检索节点，并将与所述父级检索节点连接的所有所述第一节点记为对应的第二下级检索节点，并将所述父级检索节点和对应的所有所述第二下级检索节点的所述第一节点文本提取出来组成对应的所述第一节点文本序列；并对得到的所述第一节点文本序列与所述第一查询文本进行文本拼接得到对应的所述第一拓展查询文本。
45、优选的，所述基于所述第一拓展查询文本和所述多模态文档图进行多模态信息检索得到对应的第一检索报告，具体包括：
46、步骤91，根据所述文本编码规则对所述第一拓展查询文本进行编码得到对应的第二查询编码向量；
47、步骤92，设置当次切分时段，具体为：将当前时间作为所述当次切分时段的结束时间，并将当前时间减去预设的第一时间间隔的时间作为所述当次切分时段的起始时间；
48、步骤93，由所述多模态文档图中所述第二节点时间满足所述当次切分时段的所述第二节点组成对应的第一节点子集；
49、步骤94，对所述第一节点子集中各个所述第二节点的所述第二文本向量与所述第二查询编码向量的向量相似度进行计算并将计算结果作为对应的第一查询相似度；并将其中未超过预设的第三相似度阈值的所述第一查询相似度删除；并对剩余的所述第一查询相似度的数量是否低于预设的第二数量进行识别；若是，则以所述当次切分时段的起始时间作为新的结束时间，并将所述新的结束时间减去所述第一时间间隔的时间作为新的起始时间，并由所述新的起始时间和所述新的结束时间组成新的所述当次切分时段，并返回步骤93；若否，则转至步骤95；
50、步骤95，将各个所述第一查询相似度对应的所述第二节点作为对应的第一关键节点；并在所述多模态文档图中，以各个所述第一关键节点为当前顶点、将与所述当前顶点直接连接或间接连接的所有所述第二节点和所有所述第二连接边提取出来组成对应的第一关键节点子图；并将各个所述第一关键节点子图的唯一顶点记为对应的第一顶点，并将各个所述第一关键节点子图中除所述第一顶点之外的各个所述第二节点记为对应的第一非顶点；所述第一顶点与所述第一关键节点一一对应；
51、步骤96，并在各个所述第一关键节点子图中，将任一个所述第一非顶点到所述第一顶点的最短路径记为对应的第一非顶点根路径，并对各个所述第一非顶点根路径上经过的所有所述第二连接边的所述第二连接边权重进行连乘计算并将得到的计算结果作为对应的第一非顶点权重，并将各个所述第一非顶点权重与对应的所述第一顶点对应的所述第一查询相似度相乘的积作为当前所述第一非顶点权重对应的所述第一非顶点的所述第一查询相似度，并将所述第一查询相似度未超过所述第三相似度阈值的所述第一非顶点从当前所述第一关键节点子图中删除；
52、步骤97，由所有所述第一关键节点子图的所有所述第二节点组成对应的查询节点集合；并对所述查询节点集合进行节点去重处理；
53、步骤98，将去重后的所述查询节点集合中所述第二节点类型相同的多个所述第二节点聚为一类组成对应的第一类查询节点集合；并对各个所述第一类查询节点集合中的所有所述第二节点按对应的所述第一查询相似度从高到低的顺序排序组成对应的第一类查询节点序列；并对各个所述第一类查询节点序列的所有所述第二节点进行逐个遍历；并在遍历时，将当前遍历的所述第二节点作为对应的当前节点；并由所述当前节点对应的所述第一查询相似度、所述第二节点时间、所述第二节点类型、所述第二节点文本和所述第二节点下载地址组成对应的第一检索记录；并在遍历结束时，由当前所述第一类查询节点序列对应的所有所述第一检索记录按对应的所述第一查询相似度从高到低的顺序排序组成对应的第一类检索记录序列；
54、步骤99，由得到的所有所述第一类检索记录序列组成对应的所述第一检索报告。
55、本发明实施例第二方面提供了一种用于实现上述第一方面所述的基于知识图谱检索多模态信息的处理方法的装置，所述装置包括：领域本体图构建模块、多模态文档图构建模块和多模态查询模块；
56、所述领域本体图构建模块用于基于知识图谱结构构建领域本体图；
57、所述多模态文档图构建模块用于基于知识图谱结构构建多模态文档图；
58、所述多模态查询模块用于接收第一查询文本；并基于所述领域本体图对所述第一查询文本进行领域拓展得到对应的第一拓展查询文本；并基于所述第一拓展查询文本和所述多模态文档图进行多模态信息检索得到对应的第一检索报告。
59、本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；
60、所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
61、所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
62、本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
63、本发明实施例提供了一种基于知识图谱检索多模态信息的处理方法、装置、电子设备及计算机可读存储介质。由上述内容可知，本发明实施例预先构建了两个知识图谱分别为领域本体图和多模态文档图；其中，领域本体图基于一个树形结构的有向图来存储各指定领域的专业和非专业词汇（概念、属性、实例）；多模态文档图为一个无向图，多模态文档图中的节点与检索资源一一对应，每个节点为对应资源配置一个标题摘要文本即节点文本来对资源进行更充分的描述，且同类型（网页、文本、图像、音频、视频等）的节点之间可通过连接边权重来设置两两节点资源的相似度；本发明实施例在收到用户输入的查询文本时，先基于领域本体图对查询文本进行领域拓展即为查询文本补充更多的辅助查询信息，再基于拓展查询文本对多模态文档图查询，并在查询过程中利用多模态文档图节点连接边权重提供关联检索辅助。通过本发明实施例对专业度不足的检索文本进行辅助查询信息补充、对资源描述的扩展以及对资源的关联性辅助检索，不但提高了检索匹配度、还提高了检索效率。
1.一种基于知识图谱检索多模态信息的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于知识图谱检索多模态信息的处理方法，其特征在于，
3.根据权利要求2所述的基于知识图谱检索多模态信息的处理方法，其特征在于，
4.根据权利要求2所述的基于知识图谱检索多模态信息的处理方法，其特征在于，所述基于知识图谱结构构建领域本体图，具体包括：
5.根据权利要求2所述的基于知识图谱检索多模态信息的处理方法，其特征在于，所述基于知识图谱结构构建多模态文档图，具体包括：
6.根据权利要求5所述的基于知识图谱检索多模态信息的处理方法，其特征在于，所述基于所述第一采集文档集初始化所述多模态文档图，具体包括：
7.根据权利要求5所述的基于知识图谱检索多模态信息的处理方法，其特征在于，所述基于所述第一采集文档集更新所述多模态文档图，具体包括：
8.根据权利要求2所述的基于知识图谱检索多模态信息的处理方法，其特征在于，所述基于所述领域本体图对所述第一查询文本进行领域拓展得到对应的第一拓展查询文本，具体包括：
9.根据权利要求2所述的基于知识图谱检索多模态信息的处理方法，其特征在于，所述基于所述第一拓展查询文本和所述多模态文档图进行多模态信息检索得到对应的第一检索报告，具体包括：
10.一种用于执行权利要求1-9任一项所述的基于知识图谱检索多模态信息的处理方法的装置，其特征在于，所述装置包括：领域本体图构建模块、多模态文档图构建模块和多模态查询模块；
11.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-9任一项所述的方法。
