Abstract
针对手指视频图像 R 分量饱和失真现象，本文提出了一种基于迭代的阈值分割算法，自适应生成 R 分量待检测区域，通过计算待检测区域灰度均值，从而提取出人体脉搏信号。原始脉搏信号存在基线漂移及高频噪声，结合脉搏信号特征，设计了零相位数字滤波器来滤除噪声干扰。在不同智能手机上采集了指尖视频图像，利用本文提出的算法提取出了待检测区域。考虑到每次测量时指尖压力会有所不同，本文对不同压力下提取的脉搏信号做了对比分析。为了验证本文提出的算法在心率检测方面的准确性，做了心率检测对比实验。结果表明，本文提出的算法能准确提取出人体心率信息，同时具备一定的可移植性，为进一步在智能手机平台上开发生理监测应用提供了一定的理论帮助。
Keywords: 视频图像处理, 脉搏信号提取, 心率检测, 智能手机
Abstract
In order to solve the saturation distortion phenomenon of R component in fingertip video image, this paper proposes an iterative threshold segmentation algorithm, which adaptively generates the region to be detected for the R component, and extracts the human pulse signal by calculating the gray mean value of the region to be detected. The original pulse signal has baseline drift and high frequency noise. Combining with the characteristics of pulse signal, a zero phase digital filter is designed to filter out noise interference. Fingertip video images are collected on different smartphones, and the region to be detected is extracted by the algorithm proposed in this paper. Considering that the fingertip’s pressure will be different during each measurement, this paper makes a comparative analysis of pulse signals extracted under different pressures. In order to verify the accuracy of the algorithm proposed in this paper in heart rate detection, a comparative experiment of heart rate detection was conducted. The results show that the algorithm proposed in this paper can accurately extract human heart rate information and has certain portability, which provides certain theoretical help for further development of physiological monitoring application on smartphone platform.
Keywords: video image processing, pulse signal extraction, heart rate detection, smartphone
引言
随着我国人口老龄化程度加重，心血管病患者越来越多。国家心血管病中心发布的《中国心血管病报告 2017》概要 [ 1 ] 显示，中国心血管病患病率近年来处于一种持续上升状态，急需一种简单便携的心血管病监测方案。智能手机的普及以及性能的提升，使其越来越成为理想的生理监测载体 [ 2 ] 。
通过智能手机获取脉搏信号的方法，最早由 Pelegris 等 [ 3 ] 提出，其通过计算每帧图像灰度均值获得脉搏信号。Jonathan 等 [ 4 ] 考虑了 R、G、B 分量的差异，通过人为选定不同分量计算区域，获得了三通道的脉搏信号。Karlen 等 [ 5 ] 提出了一种感兴趣区域（region of interest，ROI）选取方法，通过将单帧图片分割成多个子区域，计算子区域灰度均值，获得多个脉搏信号，然后比较其幅值变化范围，从而选择最佳 ROI。然而随着视频图像分辨率的提高，该方法需要计算的通道数大大增加，故较少采用。Scully 等 [ 6 ] 、Nam 等 [ 7 ] 将通过智能手机提取的脉搏信号与专业的心电图设备进行了比较，结果证实了手机获取的脉搏信号的可靠性。
本文拟通过手指视频图像 R 分量来提取脉搏信号。现有的该类研究大多数基于 G 分量，而 R 分量相比于 G 分量，其灰度变化幅度更大，更容易提取出脉搏信号 [ 8 - 9 ] 。而且，R 分量与 B 分量的组合符合血氧饱和度检测的双波长条件 [ 10 - 11 ] ，通过 R 分量提取脉搏信号具有一定的研究价值。但是目前通过智能手机采集的指尖视频图像，其 R 分量普遍存在饱和失真现象，将饱和区域作为计算区域，将得不到脉搏信号。针对饱和失真现象，本文提出了一种基于迭代的阈值分割算法，自适应生成 R 分量非饱和区域，将非饱和区域作为 ROI，从而提取出脉搏信号。
1. 基于指尖视频图像的脉搏信号获取方法
1.1. 基于指尖视频图像的脉搏信号获取流程
脉搏信号提取流程见 图 1 。首先打开智能手机视频录制功能，关闭手机白平衡功能，避免其影响数据的可靠性 [ 5 ] 。然后将食指指尖贴到智能手机后置摄像头上，使用 LED 灯补光，手机上将采集到包含有生理信息的彩色视频图像。考虑到手机端处理速度较慢，为了提高处理效率，利用蓝牙将视频图像传输到了个人计算机（personal computer，PC）上，在 PC 端完成视频图像的分析处理，从而提取出生理信息。在采集时，手指尽量保持静止状态。在获得视频信息后，首先经过视频帧处理，获得包含生理信息的多帧彩色图片，再经过 RGB 通道分离提取出 R 分量，然后提取 ROI，通过计算每帧 R 分量 ROI 灰度均值，获得一维原始脉搏信号：
The chart of pulse signal extraction
脉搏信号提取流程图
| 摄像头像素/万 | 采样率/Hz | 小米 Helo | 2 100 | 2 160 × 1 080 | 华为 6x | 1 200 | 1 920 × 1 080 | iphone 7 | 1 200 | 1 334 × 750 | 诺基亚 7Plus | 1 300 | 2 160 × 1 080 | vivo X6 | 1 300 | 1 920 × 1 080 |
计算心率（取整）/
（次·分 −1 ） |
参考心率/
（次·分 −1 ） |
1.47% | 1.53% | 1.49% | 2.78% | 3.23% | 2.56% | 1.47% | 1.39% | 平均相对误差 | 1.59% | Pelegris | 全部像素区域 | 4.13% | Scully | 指定计算区域 | 3.33% | 指定计算区域 | 2.40% | 本文使用方法 | 自适应生成区域 | 1.59% |
1.2. R 分量饱和失真现象
目前智能手机普遍采用 8 bit 量化方式，由于量化级数的限制，超过最大量化级数的区域只能显示最大灰度值 255，失去了真实的灰度信息，其被称之为饱和失真现象。饱和区域并不固定，其与特定设备有关。除此之外，每一帧的饱和区域也会随着血容积变化而有微小变化，所以在检测时需要提取出最优非饱和区域，该区域内每一帧都不会出现饱和失真现象。 图 2a 为提取出的第一帧 R 分量伪彩色图，其白色区域对应饱和失真区域； 图 2b 为其灰度统计直方图，从直方图中可以更加直观地看出多个像素处于饱和状态，即最大灰度值 255； 图 2c 为 R 分量单个像素点在时间序列上的标准差所组成的三维曲面图， m 、 n 分别代表经过下采样的单帧图片的行和列，纵轴为标准差。 图 2c 能直观地反映饱和失真现象，蓝色部分几乎全接近零值，说明其灰度值随时间变化较小，对应于饱和区域；相反，黄色部分值较大，说明其随时间变化较明显，对应非饱和区域。
Introduction to saturation distortion of R component
R 分量饱和失真现象介绍
a. pseudocolor image of the first frame of R component; b. grayscale statistic histogram corresponding to fig. a; c. three-dimensional surface diagram of standard deviation of R component
a. R 分量第一帧伪彩色图；b. 与 a 对应的灰度统计直方图；c. R 分量标准差三维曲面图
1.3. 基于迭代的阈值分割方法生成 ROI
经过 RGB 通道分离提取出 R 分量后，需要选取合适的 ROI。由于饱和区域因饱和失真现象失去了原有的灰度信息，所以将非饱和区域作为 ROI。脉搏信号具有周期性，即视频图像灰度值会呈现周期性变化，所以在检测时只需检测一个脉搏周期对应的序列图片，就能将最优非饱和区域筛选出来，饱和区域存在一个共同的特性，绝大多数灰度值为 255，所以我们自定义了一个阈值函数：
T 为阈值，将其设定为 255 可以有效去除饱和区域，但是为了避免后续帧灰度值向上波动导致非饱和区域再次出现部分饱和失真现象，将其适当减小设定为 250。将第一帧 R 分量 A 1 经过阈值处理后得到二值矩阵 T 1，为了便于直观地感受饱和区域，在显示时将灰度值进行了反转，如 图 3 所示。其中白色区域对应饱和区域，黑色区域对应非饱和区域，由于探测器存在随机噪声，使得白色区域内还存在微小黑色区域。这些点使得 n 值不准确，将其称为噪声点。在获得 T 1 后，将第二帧 R 分量 A 2 与 T 1 对应元素相乘生成复合矩阵 C 1：
Unsaturated region of R component generated by different k values
不同 k 值生成的 R 分量非饱和区域
在 C 1 中，上一帧饱和像素点 经过点乘运算后仍为零，将 C 1 做上述自定义阈值处理后，获得二值矩阵 T 2，再将 T 2 与下一帧 R 分量对应元素相乘生成复合矩阵 C 2，依次迭代 k 次， T k 内非零值区域即为最终的 ROI，可以看出，随着 k 值增加，黑色区域逐渐缩小，逐渐接近最优 ROI，统计 ROI 内非零值个数即可得到 时，应包含一个脉搏周期： 值选为 45。对于噪声干扰点，在做迭代阈值分割处理时，只有每一帧都未饱和才会被纳入最终的 ROI 里面，再经过 k 次阈值处理，概率将趋于零，从 图 3 中 k = 20、 k = 45 两图可以看出，噪声点已完全被消除。
1.4. 脉搏波信号获取
在获得理想的 ROI 之后，统计 ROI 内非零值个数，通过式（1）计算每一帧 ROI 的灰度均值，再通过求反运算，即可得到脉搏波信号。考虑到探测器随机噪声的干扰，在获得理想区域后，对每帧图片做了一次 5 × 5 大小的中值滤波处理， 图 4 为通过 R 分量提取出的脉搏信号。
Pulse signal obtained by R component
提取 R 分量获得的脉搏信号
2. 脉搏信号处理
2.1. 零相位数字滤波原理
可以看出，原始脉搏信号存在很强的基线漂移噪声，除此之外，在下降沿还存在高频脉冲噪声，主要是因为采集过程中存在随机噪声及环境光干扰。去除这些噪声的方法主要有形态滤波法 [ 12 ] 、经验模态分解 [ 13 ] 及小波变换 [ 14 ] 等。形态滤波法去除基线漂移噪声简单有效，但无法直接滤除高频噪声；经验模态分解重构过程中需要多次拟合，容易产生误差；小波变换则依赖于小波基的选取。
传统的数字滤波方法除了会改变输入信号每一频率分量的复振幅，还会导致相位发生变化，使得输入信号经过 LTI 系统后存在相位失真，而脉搏信号特征值的提取需要保留原始信号的相位信息。为获得零相位失真信号，可以先将输入序列按顺序滤波，然后将所得结果逆转后反向通过滤波器，再将所得结果逆转后输出，即可得精确零相位失真的输出信号，将其称为零相位数字滤波（Forward filter，Reverse filter，Reverse output，FRR） [ 15 ] ，其数学证明如下： 为输出信号在频率域表示，由式（10）可以看出，输出信号与输入信号之间不存在相位关系，即输出为零相位失真信号。
2.2. 利用零相位数字滤波器去除脉搏信号基线漂移及高频噪声
通过智能手机平台提取脉搏信号方法相对于传统的光电容积描记（photoplethysmography，PPG）系统，增加了将光强信号转变为图像信号这一步骤，同时减少了信号采样率。脉搏信号频率主要集中在 0.7～3.0 Hz 这一区间，为了滤除噪声频率，采用 3 阶巴特沃斯带通滤波器作为 FRR 的基础滤波器，设计其通带范围 0.7～3.0 Hz，阻带上限频率 5.0 Hz，阻带下限频率 0.4 Hz，带边频率衰减 ≤ 3 dB，0.4 Hz 以下及 5.0 Hz 以上衰减 ≥ 18 dB，将原始信号经过 FRR 滤波器后即可得到去除基线漂移及高频噪声的脉搏信号。由于原始信号采样率较低，我们利用三次样条函数对滤波后的信号进行了插值处理，将采样率提高到了 300 Hz，有利于特征信息的准确提取。 图 5 为经过滤波及插值处理后的归一化脉搏信号，可以看出，经过处理后的脉搏信号在形态上更加接近于传统的脉搏信号，同时包含了重搏波等细节信息。
Signals after removing the noises
去除噪声信号
3. 结果分析
3.1. 不同智能手机 ROI 提取
为了验证算法的普适性，我们选取了 5 款不同的智能手机，分别采集了同一测试者的手指视频图像，采用本文提出的算法计算 ROI。其设备性能如 表 1 所示，检测结果如 图 6 所示，白色对应饱和区域，黑色对应非饱和区域。可以看出，除小米手机外，其余几款手机都存在饱和失真现象，但是不管是否存在饱和失真现象，本文提出的方法都能有效地提取出 ROI。
表 1. Performance comparison of different smartphones.
不同智能手机性能对比
图 6.
Detection results of unsaturated regions on different equipment
不同设备非饱和区域检测结果
3.2. 不同压力下脉搏信号对比
手指与手机摄像头接触时，因为个体习惯的不同，手指与摄像头之间会存在不同的压力。目前对压力导致的差异研究较少，在采集脉搏信号时，主要的方式为皮肤组织与检测设备之间不施加压力。基于此，有必要研究在智能手机上提取脉搏信号时，不同压力对脉搏信号的影响。本文采用了一种倾斜智能设备的方法来提取不同压力下的脉搏信号，如 图 7 所示。具体的方式为：在实验平台上固定智能设备底端侧面，防止其往两端滑动，然后食指紧贴后置摄像头，通过智能手机倾斜不同的角度来增加手指与摄像头之间的压力，并对倾斜压力 F 进行了测定，倾斜角度 θ 逐渐增加，然后采集不同角度下的手指视频图像，其对应了不同压力下的脉搏信号。
Schematic diagram of pulse signal extraction under different pressure
不同压力下脉搏信号提取示意图
图 8 为不同压力下的原始脉搏信号，可以看出，不施加压力及压力为 1.2 N 时获得的脉搏信号信噪比较低。此外，不同压力下脉搏信号峰峰值也相差较大，峰峰值即相邻峰谷值差。虽然压力改变了脉搏信号峰峰值大小，但是其对脉搏信号某些特征信息影响不大，比如峰值点个数，说明在一定范围内，压力对心率信息影响较小。
Comparison of pulse signals under different pressures
不同压力下脉搏信号对比
为了进一步明确压力对脉搏信号幅值的影响，我们提取了不同压力下的峰峰值，以多个脉搏周期峰峰值的平均值来代表不同压力下的交流量，绘制了脉搏信号交流量随指尖压力的变化趋势曲线（见 图 9 ）。可以看出，当压力从零逐渐增加时，交流量也随之增加，到达某一最大值后随着压力增加交流量逐渐减小。所以在测量时，手指与摄像头之间应保持一定的压力，结合 图 8 ，建议人体手指与摄像头之间的压力在 0.3～0.7 N 范围内，此区间内更易提取出信噪比较高且包含特征信息的脉搏信号。
Variation curve of AC volume of pulse signal with pressure
脉搏信号交流量随压力变化曲线
3.3. 不同测试者心率提取结果
为了检验算法的可靠性，我们选择了 10 位测试者，使用 iphone 手机采集他们非运动状态下的右手食指视频图像。本次实验测试者均知情同意。在实验前，先让测试者熟悉本次实验流程，仪器准备就绪后开始实验。首先将右手食指贴在智能手机后置摄像头上，手指与摄像头之间保持一定的压力，同时使用 glad-stone 公司生产的指夹式脉搏血氧仪夹持在左手食指上，准备就绪后开始采集手指视频信息，待脉搏血氧仪数据稳定后记录下心率值，视频采集结束，保存视频信息并编号，通过蓝牙无线传输功能将视频信息保存到 PC 端，以上过程均由视频采集人员辅助完成。最后通过 MATLAB 平台对视频图像分析处理，获得人体脉搏信号，通过搜索算法获得脉搏信号的峰谷值信息，利用式（11）计算人体心率信息：
为起始峰值点包含的总的采样点数。将计算获得的心率值与指夹式脉搏血氧仪所检测心率值进行比对，指夹式脉搏血氧仪型号为 YK-83C，测量精度 ± 1 次/分，对比结果见 表 2 ，最大误差 ± 2 次/分，平均相对误差为 1.59%，进一步验证了算法的可靠性。表 2. Comparison of the results of heart rate measurement.
心率检测结果对比
3.4. 误差分析
要想获得理想的脉搏信号，首先需要准确提取 ROI。在测量时，手指难免会不自觉抖动，导致手指与摄像头之间的压力或者手指位置存在微小变动，从而产生运动噪声，但是由于所选 ROI 较大，一定程度上可以降低运动噪声。另外，由于采样时间较短，所测心率与实际心率值之间必然会存在一定误差。将本文方法与同类相关研究进行比较，结果见 表 3 。通过实验结果及相关工作对比可以看出，本文使用的方法在计算心率信息时可靠性更高。
表 3. Comparison of experimental results.
实验结果对比
4. 结论
通过智能手机采集手指视频图像，采用基于迭代的阈值分割算法实现了红像素自适应脉搏信号提取，不同设备检测结果显示，不管是否存在饱和失真现象，本文提出的算法都能有效地将非饱和区域提取出来。采用零相位数字滤波器滤除噪声干扰，并对信号做了插值处理，经过处理后的脉搏信号相比原始信号更加光滑，特征更加明显，有助于后续特征值的准确提取。本研究还给出了人体手指与摄像头之间的压力建议范围，此范围内易于提取出信噪比较高且包含特征信息的脉搏信号。心率检测结果显示最大误差 ± 2 次/分，平均相对误差 1.59%，验证了算法的可靠性。通过智能手机平台提取生理信息不需要借助其他辅助设备，具有很强的实用价值，可以预见未来手机平台上必将会开发出更多可靠的辅助生理检测应用。
利益冲突声明：本文全体作者均声明不存在利益冲突。
Funding Statement
国家自然科学基金（61805275）
References
1. 陈伟伟, 高润霖, 刘力生, 等 《中国心血管病报告 2017》概要. 中国循环杂志. 2018;33(1):1–8. [ Google Scholar ] 2. Boulos M N, Wheeler S, Tavares C, et al How smartphones are changing the face of mobile and participatory healthcare: an overview, with example from eCAALYX. Biomed Eng Online. 2011;10(1):24. doi: 10.1186/1475-925X-10-24. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 3. Pelegris P, Banitsas K, Orbach T, et al. A novel method to detect Heart Beat Rate using a mobile phone// Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway: IEEE, 2010: 5488-5491. 4. Jonathan E, Leahy M J Cellular phone-based photoplethysmographic imaging. J Biophotonics. 2011;4(5):293–296. doi: 10.1002/jbio.201000050. [ DOI ] [ PubMed ] [ Google Scholar ] 5. Karlen W, Ansermino J M, Dumont G A, et al Detection of the optimal region of interest for camera oximetry. Conf Proc IEEE Eng Med Biol Soc. 2013;2013:2263–2266. doi: 10.1109/EMBC.2013.6609988. [ DOI ] [ PubMed ] [ Google Scholar ] 6. Scully C G, Lee J, Meyer J, et al Physiological parameter monitoring from optical recordings with a mobile phone. IEEE Trans Biomed Eng. 2012;59(2):303–306. doi: 10.1109/TBME.2011.2163157. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 7. Nam Y, Kong Y, Reyes B, et al Monitoring of heart and breathing rates using dual cameras on a smartphone. PLoS One. 2016;11(3):e0151013. doi: 10.1371/journal.pone.0151013. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 8. Lenskiy A A, Aitzhan Y Extracting heart rate variability from a smartphone camera. J Inf Commun Converg Eng. 2013;11(3):216–222. [ Google Scholar ] 9. Lamonaca F, Kurylyak Y, Grimaldi D, et al. Reliable pulse rate evaluation by smartphone// IEEE International Symposium on Medical measurements and Applications Proceedings. Piscataway: IEEE, 2012: 234-237. 10. Kong Lingqin, Zhao Yuejin, Dong Liquan, et al Non-contact detection of oxygen saturation based on visible light imaging device using ambient light. Opt Express. 2013;21(15):17464–17471. doi: 10.1364/OE.21.017464. [ DOI ] [ PubMed ] [ Google Scholar ] 11. Fan Q, Li K Non-contact imaging plethysmography for accurate estimation of physiological parameters. J Med Biol Eng. 2017;37(5):675–685. doi: 10.1007/s40846-017-0272-y. [ DOI ] [ Google Scholar ] 12. Chu C H, Delp E J Impulsive noise suppression and background normalization of electrocardiogram signals using morphological operators. IEEE Trans Biomed Eng. 1989;36(2):262–273. doi: 10.1109/10.16474. [ DOI ] [ PubMed ] [ Google Scholar ] 13. Mandic D P, Rehman N U, Wu Z, et al Empirical mode decomposition-based time-frequency analysis of multivariate signals: the power of adaptive data analysis. IEEE Signal Process Mag. 2013;30(6):74–86. doi: 10.1109/MSP.2013.2267931. [ DOI ] [ Google Scholar ] 14. Aguiar-Conraria L, Soares M J The continuous wavelet transform: moving beyond uni-and bivariate analysis. J Econ Surv. 2014;28(2):344–375. doi: 10.1111/joes.12012. [ DOI ] [ Google Scholar ] 15. Lai Xiaoping, Lin Zhiping Minimax phase error design of IIR digital filters with prescribed magnitude and phase responses. IEEE Trans Signal Process. 2012;60(2):980–986. doi: 10.1109/TSP.2011.2175389. [ DOI ] [ Google Scholar ]Articles from Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering are provided here courtesy of West China Hospital of Sichuan University