本发明属于远程生理参数检测,涉及了一种融合模拟退火算法的基于cnn的利用皮肤微距视频进行心率检测的方法。
背景技术:
1、心脏是人体的重要组织,心脏跳动保持人体功能的正常运转,满足人体正常生理活动的需要,心率(heart rate,hr)则是人体的一个重要生理参数。传统的获得hr方法通常主要包括心电图(electrocardiography,ecg)和基于传感器的接触式光电容积描记法(contact photoplethysmography,cppg)两种方式。ecg信号通过在人体不同部位放置电极,来记录和反应心脏的电活动。但是在行常规心电图检查时,需要安放4个肢体导联电极和v1~v66个胸前导联电极,这需要专业的人员进行操作,不便于大众随时进行心跳活动监测。cppg是借光电手段在活体组织中检测血液容积变化的一种无创检测方法。需要一定波长的光束照射到指端皮肤表面,再通过光敏传感器接受光束,从而得到血容量变化信号。这种方法需要受试者佩戴相关设备,并且长时间佩戴可能对皮肤敏感的被试者造成伤害。所以,基于视频远程测量生理参数的研究具有重要的意义。基于远程光体积描记术(remotephotoplethysmography,rppg)能够实现远程非接触的心率检测。由于人脸视频中的信号受到更多的噪声和干扰,例如光照变化、头部运动等,因此对于人脸视频的信号处理需要更复杂的算法来提取准确的rppg信号。以上方法较难从受试者视频中得到稳健的心率检测值。
技术实现思路
1、针对现有技术中存在的上述问题,本发明提供了一种融合模拟退火算法的基于cnn的利用皮肤微距视频进行心率检测的方法。针对采用传统方法利用皮肤微距视频提取rppg信号误差较大的问题,提出了一种macro_chrom方法,该方法利用模拟退火算法找到适合放大视频的最优色度空间,其以提高皮肤微距视频的心率检测准确度。针对心率检测结果不稳定的问题,将提出的macro_chrom方法结合基于resnet的深度校正网络,得到macro_chrom_correct模型,该模型可以判断心率的异常值并滤除异常值,最终得到更接近真实值的检测结果。
2、本发明采用的技术方案如下:
3、本发明首先利用模拟退火算法计算出在chrom模型中适用于皮肤微距视频的最优正交色度信号,确定正交色度信号后得到重构的chrom模型。然后训练判断信号质量的模型,选择resnet-18作为cnn模型。该模型在测试中输入血容量脉冲信号转换的时空特征图,判断血容量脉冲信号的质量。当信号质量良好时,模型输出0,继续对色度信号进行快速傅里叶变换处理,检测心率。当信号质量较差时,模型将其丢弃并输出1。最终,将结果输出并求平均得到检测的心率。
4、面向皮肤微距视频的心率检测的方法,包括以下步骤:
5、步骤一,构建皮肤微距放大的视频数据集,方法如下:
6、(1)使用不同放大倍数的微距摄像头对面部皮肤进行时长为60秒的视频采集;
7、(2)使用typw_v1.0脉搏波检测仪得到血容量脉搏波的真实值,并以50帧/秒记录;
8、步骤二,使用模拟退火算法分别在不同皮肤放大倍数情况下,寻找最优正交色度信号,方法如下:
9、(1)随机初始化一个正交矩阵,通过该矩阵计算出一组正交色度信号代替原始chrom算法中的信号,计算出current_rmse。
10、(2)结合退火算法,通过逐渐降低初始温度,找到rmse最小值时对应的正交矩阵q。
11、(3)结合最优解q,重构出最优正交色度信号得到macro_chrom模型。
12、步骤三,训练评估血容量脉冲信号质量的模型,方法如下:
13、(1)划分数据集:如果t时刻将血容量脉冲信号经过快速傅里叶变换处理后得到的心率检测值与真实值之差小于12次/分钟,那么认为t时刻的时空特征图像质量较好,并将其归类为正确一类,反之,归为错误一类。
14、(2)选择使用imagenet预训练一个初始化的resnet-18网络进行特征学习,得到模型1;
15、(3)将模型1中imagenet分类的全连接层节点个数改为2,以判断血容量脉冲信号的质量(良好或较差)。
16、(4)使用交叉熵损失函数衡量时空特征图像正确与错误类别之间的差异,最终得到macro_chrom_correct模型。
17、步骤四,心率检测,方法如下:
18、(1)输入需要检测心率的视频到macro_chrom模型中,以得到较为纯净的血容量脉冲信号;
19、(2)将血容量脉冲信号进行快速傅里叶变换处理得到频谱分布情况,然后选取谱峰值对应的频率乘以60得到心率值。
20、(3)用一个10秒的滑动窗口截取血容量脉冲信号,将其转换成托普利兹矩阵,再将矩阵转换为灰度图像得到时空特征图,并将时空特征图输入到cnn模型中来判断该信号的质量,将信号质量较差的心率值滤除,将信号质量好的心率保留;
21、(4)将保留的心率值求平均,并输出。
22、本发明的有益效果是:本发明提出的面向皮肤微距视频的心率检测方法,扩大了非接触式生理参数检测的应用范围,为rppg的研究扩展思路;重构出了一组更合适于皮肤微距视频的正交信号,进一步得到更准确的血容量脉冲信号;并结合基于resnet-18的深度校正模型过滤出从质量差的血容量脉冲信号中计算的心率,提高了检测的精度。
1.面向皮肤微距视频的心率检测的方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于步骤如下: