基于视频的生理参数测量技术及研究进展

　　摘要：生理体征参数的临床监测对于个体的健康管理、疾病的预防与跟踪具有重要的意义。远程光电容积描计法(remotephotoplethysmography)是一项新兴的、基于摄像头的、无接触方便快捷的生理体征参数测量技术。血管内部血液的流动造成人体表皮颜色的微弱变化，通过计算机对这一周期性变化的信息进行放大提取，便可以分析出与心脏运作相关的体征参数，如心率、血压等。RPPG自2008年提出之后得到了飞速的发展，其准确率、鲁棒性、实用性都得到了大幅度的提高。RPPG的检测流程主要是从图像传感器获取人体面部数据开始，随后基于图像及信号处理技术完成微弱脉冲波形的提取及相关体征参数的计算。本文从rPPG的基本检测流程出发，首先对rPPG的硬件采集设备进行介绍，之后重点描述从rPPG中提取心率的算法，然后进一步介绍rPPG相关的应用研究，最后就未来rPPG可能的研究方向进行了展望。

　　关键词：远程光电容积描计法;无接触测量;生理体征参数;光照;运动;深度学习

　　进行心率、血氧、血压等能直接反应身体运作情况的人体心理活动参数的检测，对了解个体的生理健康或者情绪状态有着十分重要的意义。因此开发方便快捷的生理参数检测方法具有很强的应用价值。当前，心电图(Electrocardiogram，ECG)与光电容积描计法(Photoplethysmography，PPG)是心率检测领域最常使用的两门技术。ECG通过在人体的不同部位连接传感器电极，采集体表不同部位的电信号，进而收集心脏的运作信息，是众多生命体征仪器开发过程中的黄金标准。PPG则是利用光电技术在活体组织中检测血液容积的变化，提取人体相关的体征信息，也是目前使用最为广泛的心率检测技术。

　　生物医学论文投稿刊物： 现代电生理学杂志2017年目录查询

　　然而，二者都需要待检者与检测设备进行直接接触，存在着一定的局限性。比如，当患者皮肤出现创伤或者新生儿皮肤尚未发育完全时，物理设备可能会给受检者带来二次伤害或者增加不适感。2008年，Verkruysse[1]提出remotephotoplethysmography(rPPG)，这是一种基于普通摄像头的无接触式生理参数检测技术。RPPG的检测原理与PPG是类似的，利用光学信息来分析生理体征参数。在心脏的驱动作用下，血液在血管内部进行周期性流动，同时动脉的搏动对血管群进行挤压，从而造成光线传播强度的周期性变化，反应到皮肤表面则呈现为皮肤亮度的变化。

　　通过图像设备与待检者保持一定的距离完成数据采集，随后利用图像、信号处理技术对这一部分微弱的变化进行放大分析，便可以提取出与心脏运作有关的生理参数，达到远程无接触检测的目的。无接触检测技术是基于环境光作为探测光源，图像传感器作为数据接收装置，因此受试者的肢体运动和环境光的变化成为影响rPPG检测结果的两大因素。最近十几年间，学者们针对rPPG存在的干扰问题进行了大量的研究，该项技术的性能获得了多方面的提升[2,3]：

　　(1)准确率与鲁棒性得到了显著的提高。从人体在静态下进行测量到受试者可以完成简单的肢体动作[4]，再到新生儿的临床监护[5]和驾驶员操作状态下的无干扰心率监测实验[6]，rPPG从实验室研究发展为实际应用;(2)在检测设备上，除了常规的RGB相机，红外与近红外技术[7]的引入，使得rPPG的使用范围大大提升，在低照明度下也能完成准确的心率预测;(3)基于深度学习的rPPG检测算法也得到了极大的发展，从人工神经网络[8]到与传统检测方法结合的皮肤检测网络[9]，再到神经搜索[10]，深度学习在提升rPPG抗干扰方面的能力吸引了众多学者的研究兴趣;(4)除了常规的心率检测，rPPG也被用于呼吸率[11]、血氧[12]、血压[13]等生理参数的预测。本文从rPPG的检测流程出发，首先介绍图像获取与感兴趣区域(RegionofInterest，ROI)选取的方法，随后在提取及分析脉冲信号部分对如何提高检测的鲁棒性与准确率等方面，详细介绍了rPPG的研究进展;之后就其应用研究进行简述，最后展望了rPPG的未来研究方向。

　　1基于视频的rPPG检测流程

　　皮肤血管内的血红蛋白对光线有较强的吸收作用，从而引起表皮颜色上的微弱变化，通过采集皮肤图像并对这一变化信号进行捕捉放大，进而分析出相关的生理参数。

　　1.1面部数据采集

　　从理论上讲，人体身上的每一处皮肤都可以捕捉到PPG信号[14]，但是手臂、小腿等位置由于皮肤深度、日常行动等因素，即使是在理想的环境下，也不足以提取出稳健的rPPG信号[15]，所以，无接触检测的部位一般为人体面部。基于CCD模块的彩色相机在rPPG领域内是最常使用的采集设备，低成本、成像质量高是RGB相机最大的优势。在目前所开展的研究中，大多数实验都是处于良好的照明条件下进行。

　　然而由于普通相机没有附加光源，当环境照明度较低或者处于黑暗条件下时，RGB相机会出现成像质量差、帧速低的现象。针对这一情况，红外技术的引入，提高了rPPG在低照明度下的检测性能。比如，Sang[7]基于近红外技术，提出一套无接触心率检测系统，提升了rPPG在黑暗环境下的使用性能;Hu[16]利用长、短波红外技术设计了一套双摄成像系统，在夜间完成了心率与呼吸率的高效检测。除了红外技术的使用，深度相机、多光谱成像技术的使用也增加了rPPG的应用范围。

　　除了RGB相机，新引入的设备大多是为了解决低照明度下的检测问题，比如，近红外(NearInfrared，NIR)相机在黑暗情况下拍摄的图像质量远远强于RGB相机[21]。当前大多数彩色相机是利用CCD作为图像传感器，工作方式是通过离散的像素点将光学信号转为模拟的电流信号，再经过后续操作完成图像的获取存储[22]。受限于这一工作方式，当环境光线照明度较低时，CCD模块无法捕捉足够的光信号进而转换为电信号，所以获取的图像整体亮度较低，加大了后续数据分析的难度。红外技术的使用提升了彩色相机在低照明度下的成像质量。但是，红外相机的成像质量相对较差，所以CCD与红外技术结合的双模式成像方式受到了关注，并在rPPG检测方面展现了良好的实验结果。

　　1.2ROI定义

　　定义合理的ROI目的是减少环境噪声的引入，包括非皮肤区的背景噪声及面部器官活动等带来的干扰。针对第一种情况，ViolaJones人脸检测器是在rPPG领域最常用的获取人脸区域的技术。基于Haar特征和级联结构，可以实时完成准确的人脸检测，所以其一般用于rPPG的预处理阶段，随后再使用跟踪技术完成全部图像序列的ROI定义工作。由于面部皮肤不同位置的厚度、平坦度不同，rPPG信号在皮肤上的分布并不均匀[23]。因此，在VJ检测器的基础之上，肤色[24,25]和人脸特征点检测[8]等计算机视觉技术被用于进一步提升定义ROI的精度及降低非皮肤区带来的干扰。

　　1.3初始信号提取与解析

　　完成ROI的定义之后，需要从这一系列连续图像中提取原始脉冲信号，进行相关的分析。对所提取的信号进行解析，一项开创性工作是盲分离技术(BlindSourceSeparation，BSS)[4,26]的应用。盲分离技术是一 种在没有先验条件的情况下，将源信号在可观测的混合信号中分离出来的信号处理技术，在语音分离、生物医学等领域得到了广泛的应用[37]。最具代表性的盲分离技术是独立成分分析(IndependentComponentAnalysis，ICA)，Poh等人[4]将RGB三个通道的信号输入ICA矩阵，自适应分离出目标信号，而随后的半盲源分离[38]，联合盲源分离[30]，约束盲分离[39]都是在此基础上的改进。但是BSS也存在着一定的缺陷，实际应用中，噪声源的个数难以估计，同时盲分离技术对于输入信号的长度也有要求。因而，模态分解技术[11]成为另外一种常用的rPPG信号解析方式，将单信号分解为多个具有单一中心频率的子信号。

　　1.3.1降低运动干扰

　　基于相机的rPPG致力于给志愿者最自由舒适的检测体验，因此个体运动是影响rPPG检测准确率最大的干扰因素。除了对个体进行运动补偿，比如使用跟踪算法[40]对ROI进行跟踪来提升检测的鲁棒性，降低运动干扰的方法还可以分为以下三种。第一种方式是信息融合。面部不同区域的rPPG信号强度不同，赋予不同质量信号权重并进行融合，可以有效地提升rPPG信号的质量。Po[41]对人脸进行分块处理，通过均值漂移和信噪比阈值自适应选取具有高质量rPPG信号进行加权融合，恢复高质量的心率信号。

　　Serge[42]提出基于超像素分割的rPPG信号提取方式，将人脸皮肤分割成多个像素块，提取每一个区域的信号进行信噪比计算，通过赋予不同信号的权重进行融合，有效地提高了rPPG信号的质量。同样的处理方式在Yannick等人[43]的研究中被使用，他们采用贝叶斯评价准则用于皮肤块信号的评价，并以此计算权重进行融合，展现了良好的rPPG信号提取效果。类似的，基于信号频谱主、次频比值的rPPG块提取[44]，基于不同区域肤色强度的信号加权方法[45]，多区域信号的加权融合展现了比单一区域更好的信号提取效果。

　　区域信息融合的方式通过赋予高质量信号更大的权重，降低低质量信号的参与，有效地避免了噪声干扰，提升了rPPG检测的运动鲁棒性。而除了面部的信息融合之外，多相机的通道信号融合同样展现了良好的检测效果。例如，Cheng等人[34]证明了多个彩色相机的同步采集对于提升rPPG检测准确率的有效性。信息融合是解决运动干扰非常有效的方法，赋予不同信号权重进行信号重建，可以提升rPPG信号的鲁棒性，但是这需要较大的计算资源，对于皮肤区的检测要求较高。此外，另外一种提升rPPG运动鲁棒性的方法是颜色空间的转换。

　　第二种是颜色空间的转换。RGB空间是使用最广泛的色彩空间，也是rPPG领域使用最多的颜色空间。RGB空间属于加色系统，外界对三个通道的干扰是同步的，通过颜色空间转换的方式，分离亮度和色度信息，在色度信息中提取血液的脉冲信号，可以有效地提高rPPG检测的鲁棒性。Yang[46]证明CIELab模式对提升rPPG运动鲁棒性是有效果的，个体的运动只会影响信号在亮度通道上的分布，色度信号独立于运动之外，只受血液流动的影响;色度信息的使用在deHaan[47]的研究中也被使用。

　　将脉冲信号从运动引起的干扰中分离出来，在同样的运动实验中，准确率比BSS算法提升了40%;对于同样使用投影变换进行rPPG信号的提取，YCbCr[48]空间提取的信号平均信噪比RGB空间提升了69.3%，同样采用修正策略，Cho[49]在HIS空间中，对图像的像素点进行基于递归最小二乘法的噪声消除，实验结果表明，修正后的图像所提取的rPPG信号与参考信号展现出了良好的一致性。不过，颜色空间转换只适用于运动幅度较小的场景，只进行简单的图像转换，对亮度信息的滤除效果是限制的，另外环境光噪声的强度同样会对色度的提取产生影响。

　　第三种方式是建立rPPG的光学模型进而降低运动的干扰以提升鲁棒性。根据Feng所建立的光学模型[50]，三个颜色通道的信号都受到同一种运动的调制，因此提出基于红色及绿色通道信号的自适应色差运算方法，先通过ROI跟踪技术减少头部运动的干扰，再经过色差运算去除受运动调制的散射、漫反射光强信号，剩余部分为运动调制的脉冲信号，最后根据rPPG信号的频谱特性，由带通滤波器进一步降低运动产生的造成。

　　1.3.2降低光照噪声

　　rPPG以自然光作为探测源，照射到皮肤上的光线容易受到外界的干扰而影响表皮亮度的变化。不同于解决运动对rPPG检测造成的干扰主要集中在算法层面，提升无接触检测的光照鲁棒性可以分为硬件及算法两个方面。不同成像技术的使用提升了rPPG的检测性能，使得其在弱光环境下的检测效率得到了显著的提升。

　　但是，rPPG信号在可见光之外的光谱下强度是比较弱的，因此，Wang[17]利用窄带双频滤光片代替红外滤光片，提升了在红外波段rPPG信号的强度。而不同于使用单一的CCD或红外成像技术，Kado等人[53]在可见光与近红外录制的视频中分别提取rPPG信号，并对面部进行分块处理提取心率值，构建心率直方图，通过融合不同的面部区域的信号，显著地提升了rPPG在多种不同光照条件下的检测性能。

　　此外，在弱光环境下，基于可见光的相机成像帧速会降低，无法捕捉到皮肤上微弱的变化信息，因此，Laurie[36]开发了一种曝光自控制算法，使得相机在低帧速的情况下也能提取出高质量信号。另外一方面，从算法的角度进行光照信息的滤除受到了更加广泛的关注。第一种方式是对初始信号进行分解，从信号中直接提取处于人体脉搏范围内的信息。

　　面部视频的rPPG信号中包含了心率信号及噪声信号，使用集成经验模态分解(EnsembleEmpiricalModeDecomposition，EEMD)、小波分解[54]等信号分析工具将rPPG信号自适应地分解为多个具有不同频率的模态，进而选取处于人体脉搏范围之内的分量。这种信号解析方式可以有效地排除无规律光照噪声产生的干扰，然而，当外界噪声的频率与心跳频率接近或者光照强度过大以至于覆盖了信号原有的脉动特征时，对单一信号的分解将会出现较大的误差。

　　由此，Song[55]针对这一缺陷提出EEMDMCCA，有效地解决了使用单一模态分解工具无法应对周期性光照噪声的缺陷。Song在面部的不同区域提取rPPG信号，由EEMD对每一组信号分解后将所得的全部子信号送入MCCA中进行进一步分离，在光照不均匀及多种光照变化的条件下，EEMDMCCA都展示出了良好的信号分解效果。此外，将光照变化的信息从提取的混合信号中进行滤除，对rPPG信号进行重建，同样可以有效地提升rPPG在光照变化环境下的检测鲁棒性。

　　1.4相关体征参数的计算

　　完成rPPG信号的解析之后，可以根据信号的时域或者频域特征进行相关参数的计算。心率与呼吸率的研究最为成熟，这两个参数往往以频率作为特征进行计算，二者的生理信号都具有明显的周期性。主要分为两种方式进行估算，基于峰值点估计与基于频率估计。对于给定的时域rPPG信号，可以通过检测并统计信号的极大值点数来得到心率的估计值[28]。一个极大值点代表一个心动周期。

　　2RPPG技术的应用

　　RPPG以自然光为媒介从人体表皮的连续图像中进行心脏脉冲信息的获取，不需要专业硬件，使用手机或计算机摄像头就可以获得心率、呼吸率、血氧饱和度、血压等生理体征参数。这种无接触、低成本、操作简单的检测方式除了用于临床诊治，还使得随时随地的健康监测成为可能，对于移动医疗、远程医疗的推广有着重要的意义。

　　3未来的研究方向

　　过去的十几年间，rPPG各方面的性能都得到了很大的提升，从实验室研究到临床应用，再到商业产品的开发，基于相机的新型检测方式带给了受检者舒适的体验。但是rPPG仍处于技术的研发阶段，存在着一定的局限性需要进一步去弥补和提高。为了进一步满足实际应用的需求，rPPG的发展需要解决以下的两个问题：

　　3.1皮肤差异

　　光线对不同位置皮肤的穿透深度不同，表皮对光线的吸收强度也不同。目前的研究结果表明，大部分rPPG算法在黑色人种身上的实验效果是较差的[52]，同样的情况也出现在以PPG为核心技术的部分运动手表中。这是合理的，rPPG与PPG都是以光作为探测源，而黑色素是人类皮肤的主要色素体。光线到达表皮再继续深入内部，在表皮处会有一定强度的衰减，导致进入皮肤深层的光强降低。

　　黑色素越多，对光线的吸收强度越大，这一定程度上减弱了信号，降低了信噪比，增大了检测结果的误差。除了人种的差异之外，面部皮肤的遮掩如纹身、毛发，或者当受检者处于高光环境而导致面部大面积油光反射，这些因素都会对微弱的周期性颜色变化信息产生干扰，从而rPPG的检测准确率也会降低。进一步的工作可以集中于针对这些干扰因素而提出检测性能更高的rPPG算法。

　　3.2数据库

　　随着深度学习的发展，rPPG算法逐渐由传统的计算框架改由利用神经网络进行特征的提取与结果的估计，而高质量的数据对基于深度学习的rPPG算法开发是非常重要的。此外，对于所提出的新算法也同样需要大量的数据进行评测。然而，目前常见的数据库大多数是在可控条件下采集的，施加的干扰大部分是人为添加。而在现实场景中，环境、个体对rPPG带来的干扰是不可控的，同时也更具多样化。

　　因此，我们需要更多更全面、更具多样性的数据库提出并共享，以此来评测所提出的rPPG算法，以及促进更多更高效和准确的检测算法开发。同时，目前的数据集主要的实验人员为健康的成年人，婴幼儿、老年人以及有相关心血管生理疾病的病人等实验人员的数据极少，而这一部分数据对于提升算法的泛化能力是极为重要的。因此，我们也需要有针对这一部分人群的数据库提出，以此来对新算法的性能进行评估。

　　3.3其他限制

　　除了上述两个主要问题之外，检测距离的限制，检测速度及实用性同样是需要进一步解决的问题。目前所进行的研究，人脸与相机之前的距离多为0.6m左右，这在大多数情况适用于手机进行自我检测，在实际应用中需要的距离往往更长，如ICU的监护，运动员的生理检测等等。目前的rPPG算法主要检测一段时间的平均值，这更适用于常规长时间的健康状况监测，在Chen的工作也提到，rPPG更适用于中医类似的监测系统，在需要实时放映心脏运作情况如ICU等医护场所，rPPG存在着较大的局限。基于视频的心率检测方法具有很大很广的应用前景更潜能等待我们挖掘跟研究，我们同样相信rPPG在生理监测，远程医疗等领域能发挥出重要的作用。

　　4总结

　　远程光电容积描计法是逐渐发展起来的一门无接触生理体征参数测量技术，开展相应的研究具有十分重要的理论意义及使用价值。然而，目前仍存在着大量的难题需要去进一步地解决。本文总结了当前rPPG主流的算法模型，就rPPG测量的各项生理指标进行了介绍，以及就未来rPPG的研究前景进行展望。为了适应不同的临床场景，目前已经开发了多种具有较高准确率和鲁棒性的算法，并已在驾驶、医疗监测等领域完成初步应用。我们希望这篇综述能让读者对rPPG有进一步的认识，也希望rPPG能够进一步发展，真正在公共安全、健康管理及医疗领域发挥其应用价值。

　　参考文献：

　　[1]VERKRUYSSEW,SVAASANDLO,NELSONJS,Remoteplethysmographicimagingusingambientlight[J].OpticsExpress,2008,16(26):2143421445.

　　[2]ROUASTPV,ADAMMTP,CHIONGR,etal.,RemoteheartratemeasurementusinglowcostRGBfacevideo:atechnicalliteraturereview[J].FrontiersofComputerScience,2018,12(5):858872.

　　[3]CHENX,CHENGJ,SONGR,etal.,Videobasedheartratemeasurement:recentadvancesandfutureprospects[J].IEEETransactionsonInstrumentationandMeasurement,2019, 68(10):36003615.

　　[4]POHMZ,MCDUFFDJ,PICARDRW,Noncontact,automatedcardiacpulsemeasurementsusingvideoimagingandblindsourceseparation[J].OpticsExpress,2010,18(10):1076210774.

　　[5]GIBSONK,ALNAJIA,FLEETJ,etal.,Noncontactheartandrespiratoryratemonitoringofpreterminfantsbasedonacomputervisionsystem:amethodcomparisonstudy[J].PediatricResearch,2019,86(6):738741.

　　[6]HUANGPW,WUBJ,WUBF,Aheartratemonitoringframeworkforrealworlddriversusingremotephotoplethysmography[J].IEEEJournalofBiomedicalandHealthInformatics,2021,25(5):13971408.

　　作者：陈嘉涛1，张泓凯1，黄燕平2,3，蓝公仆2,3，许景江2,3，秦嘉2,3，安林2,3

转载请注明来自发表学术论文网：http://www.fbxslw.com/jjlw/28890.html