基于多模态渐进式注意力模型解决视频问答任务的方法与流程

1.本发明的实施方式涉及视频问答技术领域，更具体地，本发明的实施 方式涉及一种基于多模态渐进式注意力模型解决视频问答任务的方法。


背景技术：

2.近年来，视频问答是一个极具挑战性的新生领域，备受研究者的关注。 该任务要求模型能够理解视频和问题之间的语义信息，并根据该语义信息 生成答案。由于开放式问题需要模型自动地生成自然语言答案，因此开放 式问题是现阶段视频问答任务中较为困难的问题类型。
3.在问答任务中，视频信息相比于图像信息更具复杂性。视频是一个具 有强时间动态性的图像序列，并且存在大量与问题无关的冗余帧，从而影 响视频表示与问题的相关性，导致模型无法精准地定位到与问题相关的视 频信息，实验表明将注意力模型应用到视频问答任务中可以有效解决该问 题，并显著提高了模型的准确率。
4.目前大多视频问答任务在实现过程中仅提取视频的帧特征及剪辑特 征，完全忽略了视频的音频特征，因此并没有最大化地利用视频的所有有 效信息。并且由于不同模态特征之间存在多种信息交叉且各自的表现方式 不同，若仅利用点乘、级联等基础运算进行特征融合，不足以建模两个模 态间的复杂关系。针对以上问题，本方法将利用多模态渐进式注意力模型 以逐阶段的定位方式精准地定位到与问题相关的视频帧或与问题相关的 视频画面区域。


技术实现要素：

5.在本上下文中，本发明的实施方式期望提供一种基于多模态渐进式注 意力模型解决视频问答任务的方法，以克服现有技术对于视频问答任务无 法提供较为准确答案的问题。
6.在本发明实施方式的第一方面中，提供了一种基于多模态渐进式注意 力模型解决视频问答任务的方法，包括：步骤s1、获得待处理的视频和问 题；步骤s2、提取所述视频的帧特征、剪辑特征和音频特征，作为该视频 的多个模态特征，并提取所述问题的文本特征；步骤s3、分别利用问题对 所述视频的多个模态特征进行关注，得到具有问题指导的多个模态表示， 再利用问题分别计算各模态的权重得分，并在所述多个模态中选择权重得 分最高的模态表示作为关键模态；步骤s4、根据得到的模态表示和权重得 分，基于多模态融合算法将多个模态表示融合以得到所述视频的视频融合 表示；步骤s5、利用问题对视频的视频融合表示进行关注，得到具有问题 指导的视频融合表示；步骤s6、利用问题对关键模态的特征进行多步关注， 以多轮迭代的方式定位到与问题更相关的关键模态特征；步骤s7、至少基 于所述问题特征、所述具有问题指导的视频融合表示以及所述多步关注和 所述多轮迭代的结果，获得预测答案。
7.进一步地，步骤s2中提取所述视频的帧特征、剪辑特征和音频特征 的步骤包括：
步骤s21、利用预训练resnet模型提取所述视频的帧特征 v
f
＝{f1,f2,...,f
n1
}，其中，f
i
表示视频中第i个帧的帧特征， i＝1,2,3,
…
,n1，n1表示帧数，d表示帧特征的维度；步骤s22、利用预训 练tsn网络提取所述视频的剪辑特征v
c
＝{c1,c2,
…
,c
n2
}，其中， c
j
表示视频中第j个剪辑的剪辑特征，j＝1,2,3,
…
,n2，n2表示剪 辑个数，剪辑特征的维度与帧特征维度相同；步骤s23、根据梅尔倒谱系 数将所述视频中的音频转换为声谱图以作为预训练googlenet模型的输 入，再利用预训练googlenet模型提取视频的音频特征v
a
＝{a1,a2,...,a
n3
}，其中，a
k
表示视频中第k个音频的音频特征， k＝1,2,3,
…
,n3，n3表示音频个数，音频特征的维度与帧特征维度相同；
8.步骤s2中提取问题特征的步骤包括：步骤s24、对问题中所有的词 进行独热编码表示，得到问题表示q＝{q1,q2,...,q
t
}，其中，q
t
为问题中第t 个词的独热编码表示，t＝1,2,3,
…
,t，t表示问题的长度；步骤s25、利用 预训练词嵌入模型glove得到词嵌入矩阵其中，|n
vocab
|表示数 据集的词汇数量，数值300表示每个词向量的特征维度；步骤s26、通过 词嵌入矩阵e将问题q嵌入到低维的连续向量空间，得到词嵌入向量 x
t
＝e*q
t
,t＝1,2,...,t；步骤s27、利用lstm编码词嵌入向量得到问题的文 本特征lstm
q
(
·
)表示处理词嵌入向量的长短期记忆网络。
9.进一步地，步骤s3中得到的多个具有问题指导的模态表示包括具有 问题指导的帧表示，所述具有问题指导的帧表示通过如下步骤获得：s31、 利用兼容性函数对问题特征和帧特征v
f
＝(f1,f2,...,f
n1
)进行维度缩放，即将 所述问题特征和帧特征从高维特征空间映射到同一低维特征空间以进行 相似度计算，得到对应的帧向量组e
f
，每个帧向量的具体计算如下式所示：
[0010][0011]
其中，使用的兼容性函数是缩放点乘函数，表示所得 帧向量组，表示帧向量组中的第i个帧向量，f
i
表示视频中第i个帧的帧 特征，i＝1,2,3,
…
,n1，d表示预设的缩放因子；s32、利用对齐函数将所述 帧向量组e
f
中每个帧向量均转化成对应的帧注意力权重得分以得到 问题特征和帧特征相似度的归一化结果，每个帧向量对应的帧注意力权重 得分的具体计算如下式所示：
[0012][0013]
其中，使用的归一化函数是softmax函数，exp(
·
)表示以自然底数e为 底的质数运算函数；s33、利用生成上下文函数将每个帧特征f
i
与其对应 的帧注意力权重得分进
行加权求和计算，以得到具有问题指导的帧表示 p
f
，如下式所示：其中，w1表示可训练的权重矩阵， b1表示可训练的偏置向量。
[0014]
进一步地，步骤s3中得到的多个具有问题指导的模态表示包括具有 问题指导的剪辑表示，所述有问题指导的剪辑表示通过如下步骤获得： s34、利用兼容性函数对问题特征和剪辑特征v
c
＝(c1,c2,...,c
n2
)进行维度缩 放，即将所述问题特征和剪辑特征从高维特征空间映射到同一低维特征空 间以进行相似度计算，得到对应的剪辑向量组e
c
，每个剪辑向量的具体计 算如下式所示：
[0015][0016]
其中，使用的兼容性函数是缩放点乘函数，表示所得剪 辑向量组，表示剪辑向量组中的第j个剪辑向量，c
j
表示视频中第j个 剪辑的剪辑特征，j＝1,2,3,
…
,n2，d表示预设的缩放因子；s35、利用对齐 函数分别将所述剪辑向量组e
c
中每个剪辑向量转化成剪辑注意力权重得 分以得到问题特征和剪辑特征相似度的归一化结果，每个剪辑向量对 应的剪辑注意力权重得分的具体计算如下式所示：
[0017][0018]
其中，使用的归一化函数是softmax函数，exp(
·
)表示以自然底数e为 底的质数运算函数；s36、利用生成上下文函数将每个剪辑特征c
j
与其对 应的剪辑注意力权重得分进行加权求和计算，以得到具有问题指导的剪 辑表示p
c
，如下式所示：其中，w2表示可训练的权重 矩阵，b2表示可训练的偏置向量。
[0019]
进一步地，步骤s3中得到的多个具有问题指导的模态表示包括具有 问题指导的音频表示，所述具有问题指导的音频表示通过如下步骤获得： s37、利用兼容性函数对问题特征和音频特征v
a
＝(a1,a2,...,a
n3
)进行维度缩 放，即将所述问题特征和音频特征从高维特征空间映射到同一低维特征空 间以进行相似度计算，得到对应的音频向量组e
a
，每个音频向量的具体计 算如下式所示：
[0020][0021]
其中，使用的兼容性函数是缩放点乘函数，表示所得音 频向量组，表示音频向量组中的第k个音频向量，a
k
表示视频中第k个 音频的音频特征，k＝1,2,3,
…
,n3，d表示预设的缩放因子；s38、利用对齐 函数分别将所述音频向量组e
a
中每个音频向量转化成音频注意力权重得 分以得到问题特征和音频特征相似度的归一化结果，每个音频向量对 应的音频注意力权重得分的具体计算如下式所示：
[0022][0023]
其中，使用的归一化函数是softmax函数，exp(
·
)表示以自然底数e为 底的质数运算函数；s39、利用生成上下文函数将每个音频特征a
k
与其对 应的音频注意力权重得分进行加权求和计算，以得到具有问题指导的音 频表示p
a
，如下式所示：其中，w3表示可训练的权重 矩阵，b3表示可训练的偏置向量。
[0024]
进一步地，步骤s3还包括：按照如下公式利用问题分别对具有问题 指导的帧表示p
f
、具有问题指导的剪辑表示p
c
以及具有问题指导的音频表 示p
a
计算权重得分，得到权重得分结果s
f
,s
c
,s
a
，并在s
f
,s
c
,s
a
中选择权重得 分最高的模态作为关键模态p，
[0025][0026][0027]
其中＜
·
＞表示余弦相似度计算，p＝{p
f
,p
c
,p
a
}表示多个具有问题指导的 模态特征，h＝{h
f
,h
c
,h
a
}表示问题特征和具有问题指导的不同模态特征 p＝{p
f
,p
c
,p
a
}之间的相似程度，s＝{s
f
,s
c
,s
a
}表示问题特征对具有问题指导 的不同模态特征p＝{p
f
,p
c
,p
a
}关注后得到的权重得分结果，p表示与问题最相 关的模态，p∈{p
f
,p
c
,p
a
}。
[0028]
进一步地，步骤s4中所述视频的多模态融合表示通过如下方式获得： 按照如下公式利用多模态压缩双线性模型mcb将具有问题指导的帧表示 p
f
、具有问题指导的剪辑表示p
c
、具有问题指导的音频表示p
a
及其各自的 权重得分s
f
,s
c
,s
a
融合到一起，得到视频融合表示v
u
： v
u
＝mcbfusion(s
f
p
f
,s
c
p
c
,s
a
p
a
)。
[0029]
进一步地，步骤s5包括：步骤s51、按照如下公式利用得到的视频 融合表示v
u
和编码问题的长短期记忆网络lstm
q
输出的第t时刻的隐藏状 态进行计算，将计算结果作为t时刻双向长短期记忆网络bi_lstm
a
的输 入，其中，表示以元素方式相乘，bi_lstma(
·
)表示双 向长短期记忆网络，表示bi_lstm
a
编码过程中第t时刻的隐藏状态；步骤 s52、按照如下公式利用bi_lstm
a
第t时刻的隐藏状态对得到的视频融合 表示v
u
进行关注，得到具有问题指导的视频融合表示v
o
，
[0030][0031][0032][0033]
其中，w4、w5和w6表示可训练的权重矩阵，b5和b6表示可训练的偏置 向量，e
t
表示由视频融合特征和视频特征进行相似度计算所得到的权值，α
t
表示权值归一化后的注意力权
重分布。
[0034]
进一步地，步骤s6包括：步骤s61、按照如下公式初始化查询条件， 其中，表示问题特征；步骤s62、按照如下公式分别利用查询条 件z
r
对得到的关键模态p进行关注，得到具有问题指导的关键模态表示
[0035][0036]
α
r
＝softmax(w8e
r
b8)，
[0037][0038]
其中，w7、w8和w9表示可训练的权重矩阵，b7、b8和b9表示可训练的 偏置向量；p表示与问题最相关的模态，p∈{p
f
,p
c
,p
a
}，z
r
表示第r次迭代 更新的查询条件，r＝0,1,2,
…
,r，e
r
表示由问题特征和关键模态特征进行相似 度计算所得到的权值，α
r
表示权值归一化后的注意力权重分布；步骤s63、 按照如下公式对查询条件进行迭代更新，其中z
r
‑1表示第r
‑
1 次迭代更新的查询条件，表示第r
‑
1次查询得到的具有问题指导的关键 模态特征，r＝1,2,
…
,r；步骤s64、利用步骤s63中更新得到的查询条件， 执行步骤s62对关键模态p进行多步迭代关注，得到与问题更相关的关键 模态特征
[0039]
进一步地，步骤s7中按照如下步骤获得预测答案：按照如下公式将 步骤s2中lstm
q
输出的记忆细胞状态步骤s5中bi_lstm
a
输出的记忆细 胞状态步骤s5中得到的具有问题指导的视频表示v
o
和步骤s6中得到 的迭代关注结果四部分信息进行融合，用于答案生成，
[0040][0041]
其中，w
10
表示可训练的权重矩阵，w
answer
表示词汇表的权重矩阵，answer 表示生成的答案，argmax表示选择最高得分作为预测结果。
[0042]
在本发明实施方式的第二方面中，提供了一种存储有程序的存储介 质，所述程序被处理器执行时实现如上所述的基于多模态渐进式注意力模 型解决视频问答任务的方法。
[0043]
在本发明实施方式的第三方面中，提供了一种计算设备，包括上述存 储介质。
[0044]
根据本发明实施方式的基于多模态渐进式注意力模型解决视频问答 任务的方法，能够实现如下效果：
[0045]
(1)与现有技术相比，本发明利用了多个不同功能的注意力模型协同 工作，以更准确地定位到与问题相关的视频帧或视频画面区域。
[0046]
(2)本发明利用改进的多模态融合算法实现特征的跨模态融合，提高 了特征融合后的表示能力。
附图说明
[0047]
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以 及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制 性的方式示出了本发明的若干实施方式，其中：
[0048]
图1示意性地示出了根据本发明实施方式的基于多模态渐进式注意力 模型解决
视频问答任务的方法的一个示例性处理的流程图；
[0049]
图2为示出本发明的基于多模态渐进式注意力模型解决视频问答任务 的方法的一种可实现的系统结构原理图；
[0050]
图3为示出本发明的基于多模态渐进式注意力模型解决视频问答任务 的方法的结果示例图；
[0051]
图4示意性地示出了根据本发明一实施例的计算机的结构示意图；
[0052]
图5示意性地示出了根据本发明一实施例的计算机可读存储介质的示 意图。
[0053]
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0054]
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理 解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而 实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施 方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传 达给本领域的技术人员。
[0055]
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、 设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式， 即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者 硬件和软件结合的形式。
[0056]
根据本发明的实施方式，提出了一种基于多模态渐进式注意力模型解 决视频问答任务的方法。
[0057]
在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限 制，以及任何命名都仅用于区分，而不具有任何限制含义。
[0058]
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精 神。
[0059]
发明概述
[0060]
本发明人发现，首先分别从视频和问题中提取多种模态特征。然后将 所提取到的多模态特征输入到多个注意力模型中，最后将各模块输出结果 中有效信息进行融合，用于答案生成。
[0061]
本发明的基于多模态渐进式注意力模型解决视频问答任务的方法，例 如包含如下步骤：步骤s1、获得待处理的视频和问题；步骤s2、提取所 述视频的帧特征、剪辑特征和音频特征，作为该视频的多个模态特征，并 提取所述问题的文本特征；步骤s3、分别利用问题对所述视频的多个模态 特征进行关注，得到具有问题指导的多个模态表示，再利用问题分别计算 各模态的权重得分，并在所述多个模态中选择权重得分最高的模态表示作 为关键模态；步骤s4、根据得到的模态表示和权重得分，基于多模态融合 算法将多个模态表示融合以得到所述视频的视频融合表示；步骤s5、利用 问题对视频的视频融合表示进行关注，得到具有问题指导的视频融合表 示；步骤s6、利用问题对关键模态的特征进行多步关注，以多轮迭代的方 式定位到与问题更相关的关键模态特征；步骤s7、至少基于所述问题特征、 所述具有问题指导的视频融合表示以及所述多步关注和所述多轮迭代的 结果，获得预测答案。
[0062]
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制 性实施方式。
[0063]
示例性方法
[0064]
图1示意性地示出了根据本公开实施例的基于多模态渐进式注意力模 型解决视频问答任务的方法的一种示例性的处理流程。图2示出了上述方 法可实现的一种系统结构。
[0065]
如图1所示，处理流程开始后，首先执行步骤s1。
[0066]
步骤s1、获得待处理的视频和问题。
[0067]
例如，待处理的视频和问题可以是用户输入的，也可以是系统从外部 接收的，或者从预定网址下载而得到的，等等。
[0068]
作为示例，在本发明的实施例中，以英语为例来描述具体的处理流程。 但应当理解，问题的语言并不限于图2中所示的英语，也可以是其他诸如 中文、日文、韩文、法文等其他语言。相应地，预测答案的语言可以与问 题的语言相同，或可以根据用户选择而设置为一种或多种可选语言。
[0069]
步骤s2、提取视频的帧特征、剪辑特征和音频特征，作为该视频的多 个模态特征，并提取问题的文本特征。
[0070]
作为示例，在步骤s2中，例如可以通过如下描述的步骤s21～s23来 提取视频的帧特征、剪辑特征和音频特征。
[0071]
在步骤s21中，利用预先训练的resnet模型提取视频的帧特征。
[0072]
例如，用v
f
表示视频的帧特征，则：
[0073]
v
f
＝{f1,f2,...,f
n1
}，
[0074]
其中，f
i
表示视频中第i个帧的帧特征，i＝1,2,3,
…
,n1，n1表 示帧数且n1为自然数，d表示预设的缩放因子，如这里(在对应视频的 帧特征时)表示帧特征维度。
[0075]
如上所述，在本发明的实施例中，resnet模型是在imagenet上经过 预先训练的，也即利用训练好的resnet模型来提取视频的帧特征。应当 说明的是，上述resnet模型并不用于限定该示例，在其他示例中，例如 也可以采用经过预训练的其他用于提取帧特征的模型，这里不再赘述。
[0076]
这样，在步骤s22中，可以利用预先训练的tsn(temporal segmentnetworks)网络提取视频的剪辑特征。
[0077]
例如，用v
c
表示视频的剪辑特征，则：
[0078]
v
c
＝{c1,c2,...,c
n2
}，
[0079]
其中，c
j
表示视频中第j个剪辑的剪辑特征，j＝1,2,3,
…
,n2， n2表示剪辑个数且n2为自然数，d表示预设的缩放因子，如这里(在对 应视频的剪辑特征时)表示剪辑特征维度。剪辑特征的维度与帧特征维度 相同。
[0080]
如上所述，在本发明的实施例中，上述tsn网络是经过预先训练的， 也即利用训练好的tsn网络来提取视频的剪辑特征。应当说明的是，上 述tsn网络并不用于限定该示例，在其他示例中，例如也可以采用经过 预训练的其他用于提取剪辑特征的网络模型，这里不再赘述。
[0081]
然后，在步骤s23中，根据梅尔倒谱系数将视频中的声音转换为声谱 图以作为预先训练的googlenet模型的输入，再利用该googlenet模型 提取视频的音频特征。
[0082]
例如，用v
a
表示视频的音频特征，则：
[0083]
v
a
＝{a1,a2,...,a
n3
}，
[0084]
其中，a
k
表示视频中第k个音频的音频特征，k＝1,2,3,
…
,n3， n3表示音频个数且n3为自然数，d表示预设的缩放因子，如这里(在对 应视频的音频特征时)表示音频特征维度。音频特征的维度与帧特征维度 相同。
[0085]
这样，可以通过如上方法来在步骤s2中提取视频的多个模态特征。
[0086]
值得一提的是，在上述示例中，采用视频的帧特征、剪辑特征和音频特 征这三种特征作为视频的多个模态特征，但本发明的实施例并不限于此。
[0087]
例如，在本发明实施例中，可以选取视频的帧特征、剪辑特征、音频 特征、剪辑音频特征、帧音频特征中的至少两种特征作为视频的多个模态 特征。
[0088]
例如，将剪辑特征v
c
和音频特征v
a
进行特征融合，得到剪辑音频特征 v
ca
，具体特征融合方式包括：线性加法、线性乘法以及拼接等，以采用两 个特征进行拼接为例，得到剪辑音频特征v
ca
，具体融合方式如下：
[0089]
v
ca
＝[v
c
,v
a
]，
[0090]
其中,[
·
]表示两个特征拼接的操作，相比单个剪辑、音频特征而言，剪辑 音频特征信息更丰富，具有更强的语义信息。
[0091]
又如，帧音频特征v
fa
的提取方式与剪辑音频特征v
ca
采用的特征融合的 方法相似，得到的帧音频特征v
fa
比单个模态的特征信息更有效。
[0092]
此外，在步骤s2中，可以通过如下描述的步骤s24～s27来提取问题 特征。
[0093]
在步骤s24中，对问题中所有的词进行独热编码表示，得到对应的问 题表示q，q＝{q1,q2,...,q
t
}。例如，当问题的语言为英语时，在步骤s24中 可以对问题中所有的单词进行独热编码表示，这里所说的词即单词。
[0094]
其中，q
t
为问题中第t个词的独热编码表示，t＝1,2,3,
…
,t，t问题的长 度(即包含的词数)且t为自然数。
[0095]
接着，在步骤s25中，利用预先训练的词嵌入模型(如glove模型) 得到词嵌入矩阵e，
[0096]
其中，|n
vocab
|表示预定数据集中的词汇数量，数值300表示上述词嵌入 矩阵中的每个词向量的特征维度。
[0097]
接着，在步骤s26中，通过得到的词嵌入矩阵将问题q嵌入到低维的 连续向量空间，得到对应的词嵌入向量x
t
，x
t
＝e*q
t
。
[0098]
这样，在步骤s27中，可以利用lstm(long short
‑
term memory， 长短期记忆网络)对步骤s26中得到的词嵌入向量进行编码，由此得到问 题的文本特征题的文本特征其中，lstm
q
(
·
)表示处理词嵌入向量的长 短期记忆网络。由于问题与图片不同，问题是序列数据，因此采用lstm 编码问题特征，能够使得问题特征不丢失信息，从而更好地保留了问题中 每个单词的语义信息。
[0099]
如图2所示，例如可以通过如图所示的resnet、tsn、googlenet三 个模型(作为视频特征提取模型)来提取相应的视频特征，而图2所示的 glove lstm模型(作为问题特征提
取模型)来提取问题的文本特征。
[0100]
步骤s3、分别利用问题对视频的多个模态特征进行关注，得到具有问 题指导的多个模态表示，再利用问题分别计算各模态的权重得分，并在上 述多个模态中选择权重得分最高的模态表示作为关键模态。
[0101]
需要说明的是，多个模态是指帧特征、剪辑特征以及音频特征(可选 地还可能包括其他特征)所对应的模态。
[0102]
在步骤s3中，得到的具有问题指导的多个模态表示例如包括：具有 问题指导的帧表示；具有问题指导的剪辑表示；具有问题指导的音频表示。
[0103]
例如，可以通过如下描述的步骤s31～s33来获得上述具有问题指导的 帧表示。
[0104]
在步骤s31中，利用兼容性函数对问题特征和帧特征v
f
＝(f1,f2,...,f
n1
) 进行维度缩放，即将问题特征和帧特征v
f
＝(f1,f2,...,f
n1
)从高维特征空间映 射到同一低维特征空间以进行相似度计算(即计算问题特征与帧特征之间 的语义相似度)，得到对应的帧向量组e
f
，帧向量组e
f
中的每个帧向量的 具体计算如下式所示：
[0105][0106]
其中，步骤s31中使用的兼容性函数是缩放点乘函数，表示所得帧向量组，表示帧向量组中的第i个帧向量，f
i
表示视频中第i 个帧的帧特征，i＝1,2,3,
…
,n1，d表示预设的缩放因子。
[0107]
需要说明的是，在本发明的实施例中，a和b从高维特征空间映射到 同一低维特征空间指的是，a和b从高维特征空间均映射到同一个低维特 征空间，比如，a从2048维特征空间映射到256维特征空间，b也从2048 维特征空间映射到256维特征空间；或者，a从2048维特征空间映射到 256维特征空间，b从1024维特征空间映射到256维特征空间。换句话说， a和b分别从各自的高维空间映射到相同维度的低维空间。
[0108]
接着，在步骤s32中，利用对齐函数将帧向量组e
f
中每个帧向量均 转化成对应的帧注意力权重得分以得到问题特征和帧特征相似度的归 一化结果，每个帧向量对应的帧注意力权重得分的具体计算如下式所 示：
[0109][0110]
步骤s32中使用的归一化函数是softmax函数，exp(
·
)表示以自然底数 e为底的质数运算函数。此外，表示i＝i1时对应的i1取值范围为1～n1。
[0111]
这样，在步骤s33中，利用生成上下文函数，将每个帧特征f
i
与其对 应的帧注意力权重得分进行加权求和计算(即基于各帧特征对应的帧注 意力权重得分对各帧特征加权求和)，以得到具有问题指导的帧表示p
f
， 如下式所示：
[0112][0113]
其中，w1表示可训练的权重矩阵，b1表示可训练的偏置向量。
[0114]
又如，可以通过如下描述的步骤s34～s36来获得上述具有问题指导的 剪辑表示。
[0115]
在步骤s34中，利用兼容性函数对问题特征和剪辑特征 v
c
＝(c1,c2,...,c
n2
)进行维度缩放，即将问题特征和剪辑特征从高维特征空间映 射到同一低维特征空间以进行相似度计算(即计算问题特征与剪辑特征之 间的语义相似度)，得到对应的剪辑向量组e
c
，剪辑向量组e
c
中的每个剪 辑向量的具体计算如下式所示：
[0116][0117]
其中，步骤s34中使用的兼容性函数是缩放点乘函数，表示所得剪辑向量组，表示剪辑向量组中的第j个剪辑向量，c
j
表示视 频中第j个剪辑的剪辑特征，j＝1,2,3,
…
,n2，d表示预设的缩放因子。
[0118]
接着，在步骤s35中，利用对齐函数分别将剪辑向量组e
c
中每个剪辑 向量转化成对应的剪辑注意力权重得分以得到问题特征和剪辑特征 相似度的归一化结果，每个剪辑向量对应的剪辑注意力权重得分的具体 计算如下式所示：
[0119][0120]
其中，步骤s35中使用的归一化函数是softmax函数。此外，表示 剪辑向量组中的第i2个剪辑向量。此外，表示j＝i2时对应的i2取值 范围为1～n2。
[0121]
这样，在步骤s36中，利用生成上下文函数，将每个剪辑特征c
j
与其 对应的剪辑注意力权重得分进行加权求和计算(即基于各剪辑特征对应 的剪辑注意力权重得分对各剪辑特征加权求和)，以得到具有问题指导的 剪辑表示p
c
，如下式所示：
[0122][0123]
其中，w2表示可训练的权重矩阵，b2表示可训练的偏置向量。
[0124]
此外，还可以通过如下描述的步骤s37～s39来获得上述具有问题指导 的音频表示。
[0125]
在步骤s37中，利用兼容性函数对问题特征和音频特征 v
a
＝(a1,a2,...,a
n3
)进行维度缩放，即将问题特征和音频特征从高维特征空间映 射到同一低维特征空间以进行相似度计算(即计算问题特征与音频特征之 间的语义相似度)，得到对应的音频向量组e
a
，音频向量组e
a
中的每个音 频向量的具体计算如下式所示：
[0126]
[0127]
其中，步骤s37中使用的兼容性函数是缩放点乘函数，表示所得音频向量组，表示音频向量组中的第k个音频向量，a
k
表示视 频中第k个音频的音频特征，k＝1,2,3,
…
,n3，d表示预设的缩放因子。
[0128]
接着，在步骤s38中，利用对齐函数分别将音频向量组e
a
中每个音频 向量转化成音频注意力权重得分以得到问题特征和音频特征相似度 的归一化结果，每个音频向量对应的音频注意力权重得分的具体计算如 下式所示：
[0129][0130]
其中，步骤s38中使用的归一化函数例如也可以是softmax函数。此 外，表示音频向量组中的第i3个音频向量。此外，表示k＝i3时对应 的i3取值范围为1～n3。
[0131]
这样，在步骤s39中，利用生成上下文函数将每个音频特征a
k
与其对 应的音频注意力权重得分进行加权求和计算，以得到具有问题指导的音 频表示p
a
，如下式所示：
[0132][0133]
其中，w3表示可训练的权重矩阵，b3表示可训练的偏置向量。
[0134]
这样，在上述步骤s31～s39中，分别获得了帧注意力权重得分、剪辑 注意力权重得分和音频注意力权重得分，为清楚起见，可以将上述帧注意 力权重得分、剪辑注意力权重得分和音频注意力权重得分记为第一权重得 分，以便与下文将要描述的第二权重得分进行区分。
[0135]
此外，在步骤s3中，可以利用问题分别对具有问题指导的帧表示p
f
、 具有问题指导的剪辑表示p
c
以及具有问题指导的音频表示p
a
再次计算权 重得分，得到权重得分结果s
f
,s
c
,s
a
(例如记为各自对应的第二权重得分)， 并在s
f
,s
c
,s
a
中选择权重得分最高的模态作为关键模态p，如下式所示：
[0136][0137]
p＝{p
f
,p
c
,p
a
}；
[0138]
h＝{h
f
,h
c
,h
a
}；
[0139][0140]
s＝{s
f
,s
c
,s
a
}。
[0141]
其中，＜
·
＞表示余弦相似度计算，如表示与p之间的余弦相 似度的计算结果，而p＝{p
f
,p
c
,p
a
}表示多个具有问题指导的模态特征， h＝{h
f
,h
c
,h
a
}表示问题特征和具有问题指导的不同模态特征 p＝{p
f
,p
c
,p
a
}之间的相似程度。
[0142]
s＝{s
f
,s
c
,s
a
}表示问题特征对具有问题指导的不同模态特征 p＝{p
f
,p
c
,p
a
}关注后得到的权重得分结果，p表示与问题最相关的模态， p∈{p
f
,p
c
,p
a
}。
[0143]
此外，s
f
则表示利用问题特征对具有问题指导的帧表示p
f
再进行关 注后得到的第二权重得分，s
c
表示利用问题特征对具有问题指导的剪辑 表示p
c
再进行关注后得到的第二权重得分，s
a
表示利用问题特征对具有 问题指导的音频表示p
a
再进行关注后得到的第二权重得分。
[0144]
这样，如图2所示，可以通过如图所示的视频序列注意力模块，基于 步骤s2中提取的视频特征和问题特征来完成上述步骤s3的处理，以获得 关键模态。
[0145]
步骤s4、根据得到的模态表示和权重得分，基于多模态融合算法将多 个模态表示融合以得到视频的视频融合表示。
[0146]
在步骤s4中，例如可以按照如下公式，利用多模态压缩双线性模型 mcb将具有问题指导的帧表示p
f
、具有问题指导的剪辑表示p
c
、具有问 题指导的音频表示p
a
及其各自的权重得分s
f
,s
c
,s
a
(即各自对应的第二权重 得分)融合到一起，得到视频融合表示v
u
：
[0147]
v
u
＝mcbfusion(s
f
p
f
,s
c
p
c
,s
a
p
a
)。
[0148]
其中，上式中的mcbfusion(
·
)表示上述多模态压缩双线性模型mcb对 应的多模态融合算法函数。
[0149]
由此，如图2所示，可以通过如图所示的多模态融合算法模块，根据 步骤s3中得到的模态表示和权重得分来完成上述步骤s4的处理，以获得 视频的多模态融合表示。
[0150]
步骤s5、利用问题对视频的视频融合表示进行关注，得到具有问题指 导的视频融合表示。
[0151]
例如，步骤s5可以包括如下描述的步骤s51～s52。
[0152]
在步骤s51中，按照如下公式，利用得到的视频融合表示v
u
和编码问 题的长短期记忆网络lstm
q
输出的第t时刻的隐藏状态进行计算，将计 算结果作为t时刻双向长短期记忆网络bi_lstm
a
的输入：
[0153][0154]
其中，表示以元素方式相乘，bi_lstm
a
(
·
)表示双向长短期记忆网络，表示bi_lstm
a
处理编码中第t时刻的隐藏状态。
[0155]
接着，在步骤s52中，按照如下公式，利用bi_lstm
a
第t时刻的隐藏状 态对得到的视频融合表示v
u
进行关注，得到具有问题指导的视频融合表 示v
o
：
[0156][0157][0158][0159]
其中，w4、w5和w6表示可训练的权重矩阵，b5和b6表示可训练的偏置 向量，e
t
表示由视频融合特征和视频特征(视频特征即上文所述的帧特征、 剪辑特征和音频特征)进行相似度计算所得到的权值，α
t
表示权值归一化 后的注意力权重分布。e
i4
表示t＝i4时对应的e
t
，i4取值范围为1～t。
[0160]
由此，如图2所示，可以通过如图所示的辅助注意力模块，根据步骤 s4中得到的视频的多模态融合表示来完成上述步骤s5的处理，以找出与 问题相关的重要视频特征(即具有问题指导的视频融合表示)。
[0161]
步骤s6、利用问题对关键模态的特征进行多步关注，以多轮迭代的方 式定位到与问题更相关的关键模态特征。
[0162]
例如，可以通过如下将要描述的步骤s61～s62来实现上述步骤s6的 处理。
[0163]
在步骤s61中，按照下式初始化查询条件：其中，表示问题 特征。
[0164]
接着，在步骤s62中，按照如下公式分别利用查询条件z
r
对得到的关 键模态p进行关注，得到具有问题指导的关键模态表示
[0165][0166]
α
r
＝softmax(w8e
r
b8)；
[0167][0168]
其中，w7、w8和w9表示可训练的权重矩阵，b7、b8和b9表示可训练的偏 置向量；p表示与问题最相关的模态，p∈{p
f
,p
c
,p
a
}，z
r
表示第r次迭代更 新的查询条件，r＝0,1,2,
…
,r，r表示迭代总次数且r为自然数。e
r
表示由 问题特征和关键模态特征进行相似度计算所得到的权值，α
r
表示权值归一 化后的注意力权重分布。
[0169]
接着，在步骤s63中，按照如下公式对查询条件进行迭代更新：
[0170][0171]
其中z
r
‑1表示第r
‑
1次迭代更新的查询条件，表示第r
‑
1次查询得到 的具有问题指导的关键模态特征，r＝1,2,
…
,r。
[0172]
这样，在步骤s64中，利用步骤s63中更新得到的查询条件，执行步 骤s62对关键模态p进行多步迭代关注，得到与问题更相关的关键模态特 征
[0173]
由此，如图2所示，可以通过如图所示的迭代定位注意力模块，根据 步骤s3中得到的关键模态来完成上述步骤s6的处理，以定位到与问题更 相关的关键模态特征。
[0174]
步骤s7、至少基于所述问题特征、所述具有问题指导的视频融合表示 以及所述多步关注和所述多轮迭代的结果，获得预测答案。
[0175]
在步骤s7中，例如可以按照如下公式将步骤s2中长短期记忆网络 lstm
q
输出的记忆细胞状态步骤s5中bi_lstm
a
输出的记忆细胞状态步骤s5中得到的具有问题指导的视频表示v
o
和步骤s6中得到的迭代关注 结果四部分信息进行融合，用于答案生成：
[0176][0177]
其中，w
10
表示可训练的权重矩阵，w
answer
表示词汇表的权重矩阵， answer表示生成的答案，argmax表示选择最高得分作为预测结果。
[0178]
这样，如图2所示，可以通过如图所示的答案生成模块，根据前面几 步的部分有效输出结果融合后输入至该模块，来完成上述步骤s7处理， 以生成预测答案。图2所示虚线框内包含的部分即为本发明实施例所述的 多模态渐进式注意力模型，用于执行上文所述的各步骤。
[0179]
如图3所示，在给出的视频及问题下，能够得到如图所示的预测答案。 由此可以得出，利用本发明的上述方法来进行视频问答处理，能够预测得 到较为准确的答案。
[0180]
此外，本发明实施方式还提供了一种存储有程序的存储介质，程序被 处理器执行时实现如上的基于多模态渐进式注意力模型解决视频问答任 务的方法。
[0181]
另外，本发明实施方式还提供了一种计算设备，包括上述存储介质。
[0182]
图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器50 的框图。图4显示的计算机系统/服务器50仅仅是一个示例，不应对本发明 实施例的功能和使用范围带来任何限制。
[0183]
如图4所示，计算机系统/服务器50以通用计算设备的形式表现。计算 机系统/服务器50的组件可以包括但不限于：一个或者多个处理器或者处理 单元501，系统存储器502，连接不同系统组件(包括系统存储器502和处理 单元501)的总线503。
[0184]
计算机系统/服务器50典型地包括多种计算机系统可读介质。这些介质 可以是任何能够被计算机系统/服务器50访问的可用介质，包括易失性和非 易失性介质，可移动的和不可移动的介质。
[0185]
系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例 如随机存取存储器(ram)5021和/或高速缓存存储器5022。计算机系统/服 务器50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系 统存储介质。仅作为举例，rom5023可以用于读写不可移动的、非易失性磁 介质(图4中未显示，通常称为“硬盘驱动器”)。尽管未在图4中示出，可 以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及 对可移动非易失性光盘(例如cd
‑
rom，dvd
‑
rom或者其它光介质)读写 的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质 接口与总线503相连。系统存储器502中可以包括至少一个程序产品，该程 序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本 发明各实施例的功能。
[0186]
具有一组(至少一个)程序模块5024的程序/实用工具5025，可以存储 在例如系统存储器502中，且这样的程序模块5024包括但不限于：操作系统、 一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个 或某种组合中可能包括网络环境的实现。程序模块5024通常执行本发明所描 述的实施例中的功能和/或方法。
[0187]
计算机系统/服务器50也可以与一个或多个外部设备504(如键盘、指向 设备、显示器等)通信。这种通信可以通过输入/输出(i/o)接口505进行。 并且，计算机系统/服务器50还可以通过网络适配器506与一个或者多个网 络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网) 通信。如图5所示，网络适配器506通过总线503与计算机系统/服务器50 的其它模块(如处理单元501等)通信。应当明白，尽管图4中未示出，可 以结合计算机系统/服务器50使用其它硬件和/或软件模块。
[0188]
处理单元501通过运行存储在系统存储器502中的程序，从而执行各种 功能应用以及数据处理，例如，执行并实现上述方法中的各步骤。
[0189]
本发明实施方式的计算机可读存储介质一个具体例子如图5所示。
[0190]
图5的计算机可读存储介质为光盘600，其上存储有计算机程序(即程 序产品)，该程序被处理器执行时，会实现上述方法实施方式中所记载的各 步骤，各步骤的具体实现方式在此不再重复说明。
[0191]
优选实施例
[0192]
在该优选实施例中，在zjl实验数据集上进行了实验，该数据集中共有 13161个短视频及197415个问答对。为了客观地评价本发明的方法的性能， 本发明在所选出的测试集中使用了accuracy评价标准来对于本发明的效果进 行评价，accuracy评价标准反映了模型预测的准确率。按照上文描述的步骤， 所得的实验结果如表1所示。
[0193]
表1
[0194][0195]
本发明进行了如下消融研究实验以评估各模态的有效性，其中q代表 question only表示仅根据问题特征预测答案，v q代表video and question 表示根据视频和问题预测答案，a q代表audio and question表示根据音频 和问题预测答案，v a q代表video,question and audio表示根据视频、 问题和音频预测答案，所得的实验结果如表2所示。
[0196]
表2
[0197][0198]
应当注意，尽管在上文详细描述中提及了若干单元、模块或子模块，但 是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式， 上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之， 上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
[0199]
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并 非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所 示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多 个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0200]
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该 理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着 这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本 发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。