本发明涉及人体活动识别,尤其涉及一种连续人体活动识别方法、装置、电子设备及可读存储介质。
背景技术:
1、人体活动识别在智能家居、智能健康、智能办公等智能系统中发挥着重要作用。随着对人体活动的高效感知,活动识别在许多智能应用中成为越来越重要的功能,例如老年看护、健身监测、跌倒检测、交互控制和辅助康复等。
2、现有人体活动识别方法,包括基于视觉的、基于可穿戴设备的,以及基于无线感知的解决方案。与基于视觉的解决方案相比,无线感知技术具有隐私保护的能力,并且能够在变化的照明条件下鲁棒工作;与基于可穿戴设备的解决方案相比,无线感知的非接触式特性减轻了用户的负担,使其更具吸引力。
3、在基于无线感知的方法中,基于毫米波(mmwave)的感知是一个正在不断被人关注的方向,因为使用毫米波信号作为感知介质,具有高空间分辨率和细粒度的感知能力。
4、在现有技术中,通常使用毫米波雷达收集从人体反射的、与活动相关的毫米波信号,并通过处理和分析这些信号来识别人体活动。通过这种方式,可以以令人满意的精度识别单次人体活动。
5、但需要注意的是,人体活动识别在交互式智能应用中发挥着关键作用,其本质上要求实时性和连续性,这是因为人类活动在大多数情况下是连续的,需要得到及时响应。
6、然而,这一事实在现有方法中经常被忽视,现有方法也都无法满足上述本质要求,原因在于,准确、快速的活动序列切分对于连续活动识别至关重要,但尚未得到很好的解决。展开地,通常需要从整个序列中提取与人体活动相关的毫米波片段作为识别输入,切分的准确性很大程度上决定了最终识别的准确性,切分偏差过大甚至可能导致一连串的识别错误。
7、因此,如何解决现有人体活动识别方法因无法准确地切分连续人体活动序列,导致人体活动识别的准确度不高的问题,是人体活动识别技术领域亟待解决的重要课题。
技术实现思路
1、本发明提供一种连续人体活动识别方法、装置、电子设备及可读存储介质,用以克服现有人体活动识别方法因无法准确地切分连续人体活动序列,导致人体活动识别的准确度不高的缺陷,实现连续人体活动边界的准确切分,进而提升连续人体活动识别的准确度。
2、一方面,本发明提供一种连续人体活动识别方法,包括:获取人体周围的初始距离多普勒频谱序列,并对所述初始距离多普勒频谱序列进行预处理,得到距离多普勒频谱序列;基于所述距离多普勒频谱序列对应的速度熵序列,提取活动块,所述活动块包括任意数量且连续的人体活动;基于预先训练的单次活动识别模型对不同活动切分片段的logit输出,对所述活动块中人体活动的切分选择进行迭代调整,以识别得到所述活动块对应的人体活动识别结果;其中,所述活动切分片段通过切分所述活动块得到,所述人体活动识别结果对应所述单次活动识别模型的最大logit输出。
3、进一步地,所述基于预先训练的单次活动识别模型对不同活动切分片段的logit输出,对所述活动块中人体活动的切分选择进行迭代调整,包括:对于所述活动块,根据选定的初始起始帧,以及最大活动持续时间范围,确定起始帧搜索范围和结束帧搜索范围;根据所述起始帧搜索范围和所述结束帧搜索范围,确定搜索空间;基于预先训练的所述单次活动识别模型,获取所述搜索空间内所有活动切分片段对应logit输出中的最大logit输出;根据所述最大logit输出,得到所述活动块对应的人体活动识别结果;其中,所述搜索空间以所述活动切分片段的起始帧为横坐标索引,以所述活动切分片段的结束帧为纵坐标索引,以所述活动切分片段对应的logit输出为空间值。
4、进一步地,所述基于预先训练的所述单次活动识别模型,获取所述搜索空间内所有活动切分片段对应logit输出中的最大logit输出,包括:采用并行分治搜索算法,获取所述搜索空间内所有活动切分片段对应logit输出中的最大logit输出。
5、进一步地,所述采用并行分治搜索算法,获取所述搜索空间内所有活动切分片段对应logit输出中的最大logit输出,包括:将所述搜索空间均匀划分为多个子搜索空间,并将每一所述子搜索空间中的中心样本作为搜索样本;基于预先训练的所述单次活动识别模型,获取多个搜索样本分别在设定类别的logit输出,所述设定类别有多个;计算每一设定类别的平均logit输出并按照从大到小排序,选择排序在前的预设数量个平均logit输出对应的设定类别作为候选类别;并行搜索每一所述候选类别中logit输出的最大值,并根据所有候选类别的logit输出的最大值,确定所述最大logit输出。
6、进一步地,所述搜索样本为根据不同切分选择得到的活动切分片段;相应地,所述基于预先训练的所述单次活动识别模型,获取多个搜索样本分别在设定类别的logit输出,包括:采用定点采样法,从所述活动切分片段中提取出固定数量的目标帧;将所述目标帧输入至所述单次活动识别模型,得到所述目标帧对应的logit输出。
7、进一步地,所述确定所述最大logit输出,之后包括:以所述最大logit输出对应活动切分片段的结束帧作为所述初始起始帧,继续执行搜索范围的确定步骤,以及最大logit输出的搜索步骤。
8、进一步地,所述基于所述距离多普勒频谱序列对应的速度熵序列,提取活动块,包括:计算所述距离多普勒频谱序列对应的速度熵序列;通过设定长度的滑动窗口,计算所述速度熵序列对应的速度熵方差序列;根据所述速度熵方差序列中速度熵方差与经验阈值的比较结果,确定所述活动块的初始帧和结尾帧;根据所述活动块的初始帧和结尾帧,提取得到所述活动块。
9、第二方面,本发明还提供一种连续人体活动识别装置,包括:频谱预处理模块,用于获取人体周围的初始距离多普勒频谱序列,并对所述初始距离多普勒频谱序列进行预处理,得到距离多普勒频谱序列;活动块提取模块,用于基于所述距离多普勒频谱序列对应的速度熵序列,提取活动块,所述活动块包括任意数量且连续的人体活动;人体活动识别模块,用于基于预先训练的单次活动识别模型对不同活动切分片段的logit输出,对所述活动块中人体活动的切分选择进行迭代调整,以识别得到所述活动块对应的人体活动识别结果;其中,所述活动切分片段通过切分所述活动块得到,所述人体活动识别结果对应所述单次活动识别模型的最大logit输出。
10、第三方面,本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的连续人体活动识别方法。
11、第四方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述x的连续人体活动识别方法。
12、本发明提供的一种连续人体活动识别方法,通过获取人体周围的初始距离多普勒频谱序列,并对初始距离多普勒频谱序列进行预处理,得到距离多普勒频谱序列,进而基于所述距离多普勒频谱序列对应的速度熵序列,提取活动块,活动块包括任意数量且连续的人体活动,从而基于预先训练的单次活动识别模型对不同活动切分片段的logit输出,对活动块中人体活动的切分选择进行迭代调整,以识别得到活动块对应的人体活动识别结果;其中,活动切分片段通过切分活动块得到,人体活动识别结果对应单次活动识别模型的最大logit输出。该方法通过将活动块中人体活动切分和识别问题转化为最大logit搜索问题,对活动块中人体活动的切分选择进行迭代调整,以快速定位单次活动识别模型对不同活动切分片段的logit输出中的最大logit输出,进而实现了活动块中连续人体活动的准确切分,并提升了连续人体活动识别的准确度。
1.一种连续人体活动识别方法,其特征在于,包括:
2.根据权利要求1所述的连续人体活动识别方法,其特征在于,所述基于预先训练的单次活动识别模型对不同活动切分片段的logit输出,对所述活动块中人体活动的切分选择进行迭代调整,包括:
3.根据权利要求2所述的连续人体活动识别方法,其特征在于,所述基于预先训练的所述单次活动识别模型,获取所述搜索空间内所有活动切分片段对应logit输出中的最大logit输出,包括:
4.根据权利要求3所述的连续人体活动识别方法,其特征在于,所述采用并行分治搜索算法,获取所述搜索空间内所有活动切分片段对应logit输出中的最大logit输出,包括:
5.根据权利要求4所述的连续人体活动识别方法,其特征在于,所述搜索样本为根据不同切分选择得到的活动切分片段;
6.根据权利要求4所述的连续人体活动识别方法,其特征在于,所述确定所述最大logit输出,之后包括:
7.根据权利要求1-6中任一项所述的连续人体活动识别方法,其特征在于,所述基于所述距离多普勒频谱序列对应的速度熵序列,提取活动块,包括:
8.一种连续人体活动识别装置,其特征在于,包括:
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7中任一项所述的连续人体活动识别方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的连续人体活动识别方法。