本发明涉及周期性信号检测，特别是指一种基于周期稀疏注意的周期性信号检测方法及装置。
背景技术：
1、从人类生理学到环境演化，自然界中的重要过程往往表现出有意义的、强烈的周期性或准周期性变化。重复的动作或信号广泛的存在于人类的日常生活与活动之中，如人体规律的动作与姿态，心电、脑电等生理信号，季节、天气等自然环境的变化，工业生产、交通流量、行星运动、音乐节拍等。重复/周期性运动的检测有着重要的应用价值。在机器学习中，从高维数据中学习或恢复周期信号在实际应用中很普遍。周期性学习的示例包括恢复和放大生理信号(例如，心率或呼吸)，预测天气和环境变化(例如，降水或地表温度的临近预报)，对重复的运动进行计数(例如，锻炼或治疗)，以及分析人类行为(例如，步态)。
2、在计算机视觉中，基于视频的生理信号恢复与重复动作检测是研究的热点，以下分别是两类应用中与本发明相近的现有技术：
3、1.非接触式生理信号检测
4、bvp(blood volumn pulse，脉搏波)是一种重要的生理信息，进一步可通过其获取心率、心率变异性等关键生命体征。基于ppg(photo plethysmo graphy，光电容积脉搏波描记法)的bvp提取原理是基于皮肤下血管中随心脏收缩舒张引起的血含量变化而导致的对光的吸收散射变化，体现在成像传感器上是人眼不可见的细微周期性颜色信号改变。传统上，bvp需要通过接触式的传感器来获取，而接触式的特性可导致诸多的不便与限制。近年来，可以非接触的提取bvp信息的rppg(remote photo plethysmo graphy，远程光电容积脉搏波描记法)方法越来越受到关注。其不仅有望将无处不在的摄像头转换为传感器用于健康监测，还在情感计算、活体检测、生成视频检测等众多领域有广泛的应用前景与研究价值，特别是在目前自媒体视频与生成视频广泛传播的背景下。
5、rppg的早期研究大都基于传统的信号处理方法分析皮肤(通常是面部)视频来提取其周期性的信号，但rppg幅度太过微弱，环境光、运动等导致的噪声较强，只用信号处理的方法在较复杂环境下很难得到较好的精度。随着机器学习的发展，出现越来越多基于数据驱动的方法，这些方法所使用的框架呈现从二维卷积神经网络到三维卷积神经网络再到transformer(变换器)的趋势。
6、physformer(生理信号检测变换器)是近两年来最具代表性的非接触式生理信号检测的方法，作为一种完全端到端的方法，以人脸视频作为输入，以脉搏波信号为输出。其首先将视频transformer引入到rppg任务中，旨在利用transformer捕获准周期性rppg信号的长程时空关系，并在其基础上通过tdc(temporal difference convolution，时间差分卷积)模块进行注意力机制中查询(q)、键(k)的投影，以细化时间差异信息，更好的提取rppg信号。
7、但该方法和目前其他基于transformer的rppg方法一样，是粗粒度的全局关注，由于伪影与头部运动，较粗粒度的块(patch)难以避免地会同时包含rppg信息丰富区域及大量的噪声区域。这种粗粒度提取引入的噪声与rppg微弱的本质特点相结合导致了极低的信噪比，使得rppg特征不易被网络所关注。这也导致了在复杂环境下该方法的效果相比于传统卷积方法并没有明显的性能优势。
8、2.重复动作计数
9、重复动作在人类活动中广泛存在，如体育锻炼。一些体育锻炼运动的计数有助于人们进行体能检测和规划。尽管人们可以在人体上使用一些传感器(例如重力传感器)，但基于视觉的方法可以实现非侵入性，从而使基于第三视图的视频分析成为可能，并具有前景。
10、transrac(transformers for repetitive action counting，重复动作计数变换器)是该领域近两年最具代表性的重复动作计数方法，这是一种基于transformer的多尺度时序相关度编码网络，它包含三个阶段，首先视频序列v被送到编码器中，使用video swintransformer(视频位移窗口变换器)对多尺度时间相关性进行编码，然后输出x被用于计算相关性矩阵c，最后c被送入周期预测器预测最终的输出密度图。该网络不仅可以处理高频和低频动作，还可以处理长视频和短视频。该方法允许模型自动选择其适应的尺度来计算相关度矩阵，以进行最终计数预测。其在编码阶段使用video swin transformer提取周期性特征，是人为设计的静态稀疏注意机制，虽然一定程度上通过局部稀疏注意机制缓解了transformer的二次计算复杂度问题，但对于动态的周期性信号提取任务是次优的。
11、transformer使用注意力作为卷积的替代方案来实现全局上下文建模，相比于卷积神经网络可以捕获长程的时空关系，这对周期性信号是十分有利的。然而，由于传统的注意力机制在所有空间位置上计算成对特征相关度，因此会带来很高的计算负担和沉重的内存占用，特别是对于高分辨率高维度输入。因此，寻求更有效的注意机制是一个重要的研究方向。针对该问题，一些工作引入了不同的人为设计的稀疏模式，例如扩张窗口或十字形窗口。也有一些作品试图使稀疏模式适应数据，如dat(deformable attention transformer，可变形注意力变换器)、tcformer(token clustering transformer，词元聚集变换器)、dpt(dense prediction transformer，密集预测变换器)。biformer(双层路由变换器)探索了一个动态的稀疏注意机制，为稀疏注意力提出了新的可能。过去周期性信号提取的相关工作中，大部分都没有引入稀疏注意机制，是粗粒度的关注；部分引入了人为设计的静态稀疏注意机制，如基于video swin transformer的局部稀疏注意，但对于动态的周期性信号提取任务是次优的。设计适合周期性任务的稀疏注意机制主要有两个困难：第一，由于周期性任务需要全局关注所有时间，并且关注点的位置与频率不确定，很难通过人为设计的静态注意力来稀疏关注；第二，过去工作中的稀疏注意力机制大都是在二维的图像进行讨论的，如何应用到三维的视频上是一个挑战。
技术实现思路
1、为了解决现有技术存在的transformer二次计算复杂度在周期性任务中的技术问题，本发明实施例提供了一种基于周期稀疏注意的周期性信号检测方法及装置。所述技术方案如下：
2、一方面，提供了一种基于周期稀疏注意的周期性信号检测方法，该方法由周期性信号检测设备实现，该方法包括：
3、s1、获取待检测的视频数据，进行数据预处理，得到预处理后的视频数据。
4、s2、将预处理后的视频数据输入到基于周期稀疏注意的周期性信号检测模型，得到模型输出；其中，周期性信号检测模型包括：卷积模块、块编码模块、层次化时间周期变换器模块以及信号预测头模块。
5、s3、对模型输出进行数据后处理，得到周期性信号检测结果。
6、可选地，s2中的将预处理后的视频数据输入到基于周期稀疏注意的周期性信号检测模型，得到模型输出，包括：
7、s21、将预处理后的视频数据输入到卷积模块进行初级特征提取，得到卷积模块输出。
8、s22、将卷积模块输出输入到块编码模块进行划分，得到块编码模块输出。
9、s23、将块编码模块输出输入到层次化时间周期变换器模块进行周期性特征提取，得到层次化时间周期变换器模块输出。
10、s24、将层次化时间周期变换器模块输出输入到信号预测头模块进行投影，得到周期性信号的波形特征。
11、可选地，层次化时间周期变换器模块包括：第一时间周期变换器子模块、第二时间周期变换器子模块以及第三时间周期变换器子模块。
12、s23中的将块编码模块输出输入到层次化时间周期变换器模块进行周期性特征提取，得到层次化时间周期变换器模块输出，包括：
13、s231、将块编码模块输出输入到第一时间周期变换器子模块，得到第一时间周期变换器子模块输出。
14、s232、将第一时间周期变换器子模块输出输入到第二时间周期变换器子模块，得到第二时间周期变换器子模块输出。
15、s233、将第二时间周期变换器子模块输出输入到第三时间周期变换器子模块，得到层次化时间周期变换器模块输出。
16、可选地，第一时间周期变换器子模块包括：下采样模块、预注意模块、精细注意模块、时空前馈模块以及上采样模块。
17、s231中的将块编码模块输出输入到第一时间周期变换器子模块，得到第一时间周期变换器子模块输出，包括：
18、s2311、将块编码模块输出输入到下采样模块，得到下采样模块输出。
19、其中，下采样模块包括n个下采样子模块，n为采样系数；每个下采样子模块包括下采样批归一化层和下采样三维卷积层。
20、s2312、将下采样模块输出输入到所述预注意模块，得到预注意模块输出。
21、s2313、将预注意模块输出输入到精细注意模块，得到精细注意模块输出。
22、s2314、将精细注意模块输出输入到时空前馈模块，得到时空前馈模块输出。
23、s2315、将时空前馈模块输出输入到上采样模块，得到第一时间周期变换器子模块输出。
24、其中，所述上采样模块包括n个上采样子模块，n为采样系数；每个上采样子模块包括上采样层、上采样卷积层、上采样批归一化层以及指数线性单元elu激活层。
25、可选地，s2312中的预注意模块输出，如下式(1)(2)所示：
26、kg＝gather(k，topkindex(score)) (1)
27、vg＝gather(v，topkindex(score)) (2)
28、式中，kg表示聚合后的键，gather表示聚合函数，k表示键，topkindex表示获取前k个值索引的函数，score表示预注意得分，vg表示聚合后的值，v表示值。
29、可选地，s2313中的精细注意模块输出，如下式(3)所示：
30、mhsa＝concat(sa1，sa2，sai，...，sah)w (3)
31、其中，mhsa表示精细注意模块输出，concat表示连接函数，w表示权重矩阵，sai表示第i个自注意力头输出，具体如下式(4)所示：
32、
33、式中，sotxmax表示激活函数，q表示查询，kg表示预注意聚合后的键，t表示矩阵转置，d表示单头注意力的维度，vg表示预注意聚合后的值，lce表示上下文增强模块，v表示值。
34、可选地，时空前馈模块包括第一全连接层、隐藏层以及第二全连接层。
35、隐藏层包括时空前馈模块三维卷积层、时空前馈模块批归一化层以及高斯误差线性单元gelu激活层。
36、另一方面，提供了一种基于周期稀疏注意的周期性信号检测装置，该装置应用于基于周期稀疏注意的周期性信号检测方法，该装置包括：
37、获取模块，用于获取待检测的视频数据，进行数据预处理，得到预处理后的视频数据。
38、输入模块，用于将预处理后的视频数据输入到基于周期稀疏注意的周期性信号检测模型，得到模型输出；其中，周期性信号检测模型包括：卷积模块、块编码模块、层次化时间周期变换器模块以及信号预测头模块。
39、输出模块，对模型输出进行数据后处理，得到周期性信号检测结果。
40、可选地，输入模块，进一步用于：
41、s21、将预处理后的视频数据输入到卷积模块进行初级特征提取，得到卷积模块输出。
42、s22、将卷积模块输出输入到块编码模块进行划分，得到块编码模块输出。
43、s23、将块编码模块输出输入到层次化时间周期变换器模块进行周期性特征提取，得到层次化时间周期变换器模块输出。
44、s24、将层次化时间周期变换器模块输出输入到信号预测头模块进行投影，得到周期性信号的波形特征。
45、可选地，层次化时间周期变换器模块包括：第一时间周期变换器子模块、第二时间周期变换器子模块以及第三时间周期变换器子模块。
46、s23中的将块编码模块输出输入到层次化时间周期变换器模块进行周期性特征提取，得到层次化时间周期变换器模块输出，包括：
47、s231、将块编码模块输出输入到第一时间周期变换器子模块，得到第一时间周期变换器子模块输出。
48、s232、将第一时间周期变换器子模块输出输入到第二时间周期变换器子模块，得到第二时间周期变换器子模块输出。
49、s233、将第二时间周期变换器子模块输出输入到第三时间周期变换器子模块，得到层次化时间周期变换器模块输出。
50、可选地，第一时间周期变换器子模块包括：下采样模块、预注意模块、精细注意模块、时空前馈模块以及上采样模块。
51、s231中的将块编码模块输出输入到第一时间周期变换器子模块，得到第一时间周期变换器子模块输出，包括：
52、s2311、将块编码模块输出输入到下采样模块，得到下采样模块输出；
53、其中，下采样模块包括n个下采样子模块，n为采样系数；每个下采样子模块包括下采样批归一化层和下采样三维卷积层。
54、s2312、将下采样模块输出输入到所述预注意模块，得到预注意模块输出。
55、s2313、将预注意模块输出输入到精细注意模块，得到精细注意模块输出。
56、s2314、将精细注意模块输出输入到时空前馈模块，得到时空前馈模块输出。
57、s2315、将时空前馈模块输出输入到上采样模块，得到第一时间周期变换器子模块输出。
58、其中，所述上采样模块包括n个上采样子模块，n为采样系数；每个上采样子模块包括上采样层、上采样卷积层、上采样批归一化层以及指数线性单元elu激活层。
59、可选地，s2312中的预注意模块输出，如下式(1)(2)所示：
60、kg＝gather(k，topkindex(score)) (1)
61、vg＝gather(v，topkindex(score)) (2)
62、式中，kg表示聚合后的键，gather表示聚合函数，k表示键，topkindex表示获取前k个值索引的函数，score表示预注意得分，vg表示聚合后的值，v表示值。
63、可选地，s2313中的精细注意模块输出，如下式(3)所示：
64、mhsa＝concat(sa1，sa2，sai，...，sah)w (3)
65、其中，mhsa表示精细注意模块输出，concat表示连接函数，w表示权重矩阵，sai表示第i个自注意力头输出，具体如下式(4)所示：
66、
67、式中，sotxmax表示激活函数，q表示查询，kg表示预注意聚合后的键，t表示矩阵转置，d表示单头注意力的维度，vg表示预注意聚合后的值，lce表示上下文增强模块，v表示值。
68、可选地，时空前馈模块包括第一全连接层、隐藏层以及第二全连接层。
69、隐藏层包括时空前馈模块三维卷积层、时空前馈模块批归一化层以及高斯误差线性单元gelu激活层。
70、另一方面，提供一种周期性信号检测设备，所述周期性信号检测设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述基于周期稀疏注意的周期性信号检测方法中的任一项方法。
71、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于周期稀疏注意的周期性信号检测方法中的任一项方法。
72、本发明实施例提供的技术方案带来的有益效果至少包括：
73、本发明实施例中，基于周期性信号的周期性，设计了一种周期稀疏注意力机制，通过预注意阶段有效的解决了transformer二次计算复杂度的问题，细粒度的对周期性特征进行建模。
74、本发明基于周期稀疏注意力机制，提出了一种周期性信号检测方法。从多个时间尺度层次化的挖掘周期性特征。在较大的时空感受野计算时空相关性，聚合时间上相位相近、空间上信号丰富的高相关度区域，细粒度地从上述区域中提取特征。
75、本发明将所提出的周期性信号检测方法在心率检测应用场景中进行了充分的实验验证，证明了其卓越性能。
1.一种基于周期稀疏注意的周期性信号检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述预处理后的视频数据输入到基于周期稀疏注意的周期性信号检测模型，得到模型输出，包括：
3.根据权利要求2所述的方法，其特征在于，所述层次化时间周期变换器模块包括：第一时间周期变换器子模块、第二时间周期变换器子模块以及第三时间周期变换器子模块；
4.将所述根据权利要求3所述的方法，其特征在于，所述第一时间周期变换器子模块包括：下采样模块、预注意模块、精细注意模块、时空前馈模块以及上采样模块；
5.根据权利要求4所述的方法，其特征在于，所述s2312中的预注意模块输出，如下式(1)(2)所示：
6.根据权利要求4所述的方法，其特征在于，所述s2313中的精细注意模块输出，如下式(3)所示：
7.根据权利要求4所述的方法，其特征在于，所述时空前馈模块包括第一全连接层、隐藏层以及第二全连接层；
8.一种基于周期稀疏注意的周期性信号检测装置，所述基于周期稀疏注意的周期性信号检测装置用于实现权利要求1-7任一项所述的基于周期稀疏注意的周期性信号检测方法，其特征在于，所述装置包括：
9.一种周期性信号检测设备，其特征在于，所述周期性信号检测设备包括：
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。
