Pulse rate variability measurement with camera-based photoplethysmography
Mesure de la variabilité cardiaque pulsée par analyse vidéo
Résumé
Electrocardiogram (ECG) has been used by doctors and biomedical researchers to measure cardiac parameters such as Heart Rate (HR) and Heart Rate Variability (HRV). HR is a medical index for health monitoring and the HRV is a sign to reflect the activities of Autonomic Nervous System (ANS) and can be used for emotion recognition applications. Recently, remote photoplethysmography (rPPG) has evolved as a non-contact technique for measuring vital cardiac signs. Compared with ECG, this technique is non-invasive, low-cost, comfortable and possibly utilized in long-term monitoring. It has great potential in remote health assessment and emotion detection. However, the rPPG is a video-based method, thus the measurement is not precise and the performance is heavily affected by the image noise, sensor noise, light variation, head movement, etc. Therefore, this method should be carefully studied and improved. In this manuscript, we have focused on two major issues for the rPPG method. Firstly, the selection of region of interest (ROI) is a critical step of the technique to obtain reliable pulse signals. It should contain as many skin pixels as possible with a minimum of non-skin pixels. Secondly, as a possible replacement of HRV in some conditions, the Pulse Rate Variability (PRV) is more complicated to measure than HR because it is then necessary to detect the peaks on the temporal rPPG signal, which is usually quite noisy and has a lower temporal resolution than the signals obtained by contact equipment. Since the PRV signal is important for various applications such as remote recognition of stress and emotion, the improvement of the PRV measurement in rPPG framework is a critical task. In the PhD thesis, we firstly introduce the scientific background for the cardiac parameter measurements and related research works. Then we describe the four contributions we have made. The first contribution is the comparative study for several ROI segmentation methods and color channel selection methods. We have identified the best combination of these methods. The second contribution is a novel method for improvement of the ROI detection method. We test the algorithm in the framework of HR measurement and show that it performs better than existing methods. The third and fourth contributions are the improvement of the remote measurement of PRV with a novel peak detection method based on one-window and two-window methods respectively.
L'électrocardiogramme (ECG) est couramment utilisé par les médecins et les chercheurs pour mesurer les paramètres cardiaques tels que la fréquence cardiaque (FC) et la variabilité de la fréquence cardiaque (VFC). La fréquence cardiaque est un paramètre physiologique médical très important pour la surveillance de la santé et la variabilité de la fréquence cardiaque est un paramètre qui reflète les activités du système nerveux autonome (SNA) et peut être utilisé pour des applications de reconnaissance d'émotions. Récemment, la photopléthysmographie à distance (rPPG) a permis de mesurer ces signaux vitaux cardiaques de manière sans contact. Par rapport à l'ECG, cette technique est non invasive, peu coûteuse, confortable et peut être utilisée pour la surveillance à long terme. Elle présente un grand potentiel pour l'évaluation de la santé à distance et la reconnaissance des émotions. Cependant, la rPPG est une méthode basée sur la vidéo, donc la mesure est moins précise que les méthodes au contact et la performance est fortement affectée par le bruit de l'image, le bruit du capteur, la variation de la lumière, le mouvement de la tête, etc. C'est pourquoi cette méthode doit être soigneusement étudiée et améliorée. Dans ce manuscrit, nous nous sommes concentrés sur deux problèmes majeurs de la méthode rPPG. Premièrement, la sélection de la région d'intérêt (ROI) est une étape critique de la chaîne de traitements pour obtenir des signaux cardiaques fiables. La ROI doit contenir autant de pixels de peau que possible avec un minimum de pixels qui ne représentent pas de la peau. Deuxièmement, la VFC peut également être estimée par analyse du signal photopléthysmographique (et par extension rPPG). On parle alors de la variabilité cardiaque de la fréquence d'impulsion (ou Pulse rate Variability - PRV). Le PRV est plus compliquée à mesurer que la fréquence cardiaque car il est alors nécessaire de détecter les pics sur le signal rPPG temporel, qui est généralement assez bruité et a une résolution temporelle plus faible que les signaux obtenus par un équipement au contact. Comme le signal PRV est important pour diverses applications telles que la reconnaissance à distance du stress et des émotions, l'amélioration de la mesure du PRV dans le cadre de la rPPG est une tâche essentielle. Dans cette thèse de doctorat, nous présentons tout d'abord le contexte scientifique des mesures des paramètres cardiaques et des travaux de recherche connexes. Ensuite, nous décrivons les quatre contributions que nous avons faites pour aborder ces questions. La première contribution est l'étude comparative de plusieurs méthodes de segmentation de la ROI et de sélection des canaux de couleur. La deuxième contribution est une nouvelle méthode pour améliorer la méthode de détection de la ROI. Nous testons cet algorithme dans le cadre de la mesure rPPG et montrons qu'il est plus performant que les méthodes existantes. Les troisième et quatrième contributions sont l'amélioration de la mesure à distance du PRV avec une nouvelle méthode de détection de pics à une fenêtre et à deux fenêtres respectivement.
Origine : Version validée par le jury (STAR)