La multimodalité améliore la précision et l'équité de la surveillance de la santé par caméra

Cette étude à grande échelle a évalué l'approche multimodale de Shen AI pour la mesure sans contact de la fréquence cardiaque (FC) et de la variabilité de la fréquence cardiaque (HRV). En combinant la photopléthysmographie à distance (rPPG) à la balistocardiographie à distance (rBCG), le système sélectionne dynamiquement la modalité offrant la meilleure qualité de signal, une stratégie conçue pour améliorer la précision, la robustesse et les performances dans différents tons de peau et dans différents environnements. Utilisant les données de plus de 5 000 participants, le rapport fournit l'une des validations les plus complètes à ce jour en matière de surveillance cardiovasculaire basée sur la qualité et basée sur des caméras.

‍

Informations clés

• Précision HR élevée avec rPPG seul: Le rPPG a obtenu un accord proche de l'identité en matière de fréquence cardiaque avec l'oxymétrie de pouls (MAE ≈ 0,37 bpm, R = 0,99) auprès de 5 311 participants.
• L'estimation de la VRC est plus difficile, mais la sélection multimodale y contribue: rPPG a atteint MAE ≈ 6 ms pour le SDNN contre 36 ms pour le rBCG ; le sélecteur axé sur la qualité a amélioré la précision du SDNN d'environ 7 % dans l'ensemble et d'environ 18 % dans les groupes de phototype VI.
• Avantage en matière d'équité pour les peaux plus foncées: L'erreur rPPG augmentait avec les phototypes plus foncés (III—VI), tandis que la rBCG restait stable. Le sélecteur a transféré le poids vers le rBCG lorsque la qualité optique diminuait, maintenant l'erreur HR en dessous de 1,3 bpm, même en type VI.
• Les mesures de qualité du signal prédisent fortement la précision: Les deux modalités ont montré une diminution claire et monotone des erreurs à mesure que la qualité augmentait ; les analyses de la surface de décision ont validé une limite stable et interprétable pour le changement de modalité

‍

Résumé de la recherche

Ce qui suit est un extrait de l'article « Approche multimodale de Shen AI utilisant la photopléthysmographie à distance (rPPG) et la balistocardiographie (rBCG) pour la fréquence cardiaque et la prédiction de la variabilité de la fréquence cardiaque ».

‍

La photopléthysmographie à distance (rPPG) et la balistocardiographie à distance (rBCG) sont des techniques prometteuses pour la surveillance cardiovasculaire sans contact. Les deux modalités permettent d'estimer la fréquence cardiaque (FC) et la variabilité de la fréquence cardiaque (HRV), mais chacune présente des limites spécifiques : la rPPG est sensible à la lumière et à la pigmentation de la peau, tandis que la rBCG est moins affectée par ces facteurs mais généralement plus bruyante. Shen AI a développé une approche multimodale axée sur la qualité du signal qui sélectionne ou combine dynamiquement des modalités en fonction de mesures de confiance afin d'optimiser les performances.

Nous avons évalué cette stratégie auprès d'une large cohorte de 5 311 participants couvrant un large spectre démographique (âge moyen 53,8 ans, 64,7 % de femmes). L'acquisition de données impliquait l'enregistrement simultané d'une vidéo faciale (rPPG), de signaux de micro-mouvements (rBCG) et d'une oxymétrie de pouls (vérité du sol). Chaque enregistrement de 60 secondes a été segmenté et le HR et le HRV (SDNN) ont été calculés pour chaque modalité. Des scores de qualité ont été attribués à chaque fenêtre, ce qui a permis à l'algorithme le plus performant de sélectionner la modalité avec la précision attendue la plus élevée.

Les résultats ont montré que le rPPG obtenait une concordance quasi identique avec la référence pour la fréquence cardiaque (MAE ≈ 0,37 bpm, R = 0,99), tandis que le rBCG présentait une erreur globale plus élevée (MAE ≈ 3,6 bpm, R = 0,82) mais s'améliorait nettement dans les fenêtres de haute qualité. Pour le SDNN, le rPPG a de nouveau surperformé le rBCG (MAE ≈ 6 ms contre 36 ms), bien que les estimations de variabilité soient intrinsèquement plus sujettes aux erreurs que les HR. L'application de la meilleure stratégie a produit des gains mesurables : l'erreur HR a été réduite d'environ 3 % et le SDNN d'environ 7 % dans l'ensemble. La stratification selon le type de peau de Fitzpatrick a mis en évidence des tendances pertinentes pour l'équité : l'erreur rPPG augmentait progressivement avec les phototypes plus foncés (III—VI), tandis que la rBCG est restée stable. Le sélecteur a donc modifié la pondération en faveur du rBCG dans ces sous-groupes, atténuant ainsi les disparités. Au phototype VI, la précision du SDNN s'est améliorée d'environ 18 %, tandis que l'erreur HR est restée inférieure à 1,3 bpm.

Ces résultats démontrent que la sélection multimodale basée sur la qualité exploite efficacement les atouts complémentaires du rPPG et du rBCG, garantissant ainsi une mesure sans contact robuste et équitable de la HR et de la HRV au sein d'une population nombreuse et diversifiée. Les travaux futurs devraient étendre la validation à d'autres paramètres du HRV (par exemple, RMSSD, mesures du domaine fréquentiel), à des paramètres réels non contraints et à des cohortes cliniques présentant des arythmies ou une perfusion altérée.

Détails de la recherche

Titre : Approche multimodale par Shen AI à l'aide de la télécommande

photopléthysmographie (rPPG) et balistocardiographie (rBCG) pour la prédiction de la fréquence cardiaque et de la variabilité de la fréquence cardiaque
Auteurs : Przemyslaw Jaworski, Szymon Sobczak, Anna Drohomirecka, Tymoteusz Okupnik
Publié en novembre 2025

‍

Lisez l'étude complète ici.

‍