La multimodalidad mejora la precisión y la equidad en la monitorización de la salud basada en cámaras

Este estudio a gran escala evaluó el enfoque multimodal de Shen AI para la medición sin contacto de la frecuencia cardíaca (FC) y la variabilidad de la frecuencia cardíaca (HRV). Al combinar la fotopletismografía remota (rPPG) con la balistocardiografía remota (rBCG), el sistema selecciona de forma dinámica la modalidad con la mejor calidad de señal, una estrategia diseñada para mejorar la precisión, la solidez y el rendimiento en diversos tonos de piel y entornos. Con datos de más de 5000 participantes, el informe proporciona una de las validaciones más completas hasta la fecha de la monitorización cardiovascular basada en cámaras y con control de calidad.

‍

Perspectivas clave

• Alta precisión de RRHH solo con rPPG: rPPG logró una concordancia cardíaca cercana a la identidad con la oximetría de pulso (MAE ≈ 0,37 lpm, R = 0,99) en 5.311 participantes.
• La estimación de la HRV es más difícil, pero la selección multimodal ayuda: rPPG alcanzó un MAE de ≈ 6 ms para SDNN frente a 36 ms para rBCG; el selector basado en la calidad mejoró la precisión de la SDNN en aproximadamente un 7% en general y aproximadamente un 18% en los grupos de fototipo VI.
• Beneficio equitativo para tonos de piel más oscuros: El error rppG aumentó con los fototipos más oscuros (III-VI), mientras que el rBCG se mantuvo estable. El selector cambió el peso hacia el rBCG cuando la calidad óptica disminuyó, lo que mantuvo el error de frecuencia cardíaca por debajo de los 1,3 bpm, incluso en el tipo VI.
• Las métricas de calidad de la señal predicen claramente la precisión: Ambas modalidades mostraron una disminución clara y monótona del error a medida que aumentaba la calidad; los análisis de la superficie de decisión validaron un límite estable e interpretable para el cambio de modalidad

‍

Resumen de la investigación

El siguiente es un extracto del artículo «Enfoque multimodal de Shen AI que utiliza fotopletismografía remota (rPPG) y balistocardiografía (rBCG) para la predicción de la frecuencia cardíaca y la variabilidad de la frecuencia cardíaca».

‍

La fotopletismografía remota (rPPG) y la balistocardiografía remota (rBCG) son técnicas prometedoras para la monitorización cardiovascular sin contacto. Ambas modalidades permiten estimar la frecuencia cardíaca (FC) y la variabilidad de la frecuencia cardíaca (HRV), pero cada una tiene limitaciones específicas: la rPPG es sensible a la luz y a la pigmentación de la piel, mientras que la rBCG se ve menos afectada por estos factores, pero por lo general es más ruidosa. Shen AI ha desarrollado un enfoque multimodal basado en la calidad de la señal que selecciona o combina de forma dinámica las modalidades en función de métricas de confianza para optimizar el rendimiento.

Evaluamos esta estrategia en una gran cohorte de 5.311 participantes que abarcaban un amplio espectro demográfico (edad media de 53,8 años, 64,7% mujeres). La adquisición de datos implicó la grabación simultánea de vídeos faciales (rPPG), señales de micromovimiento (rBCG) y oximetría de pulso (información básica). Cada grabación de 60 segundos se segmentó y se calcularon la frecuencia cardíaca y la frecuencia cardíaca (SDNN) para cada modalidad. Se asignaron puntuaciones de calidad a cada ventana, lo que permitió al mejor algoritmo seleccionar la modalidad con la mayor precisión esperada.

Los resultados mostraron que el rPPG alcanzó una concordancia cercana a la identidad con la referencia para la HR (MAE ≈ 0,37 bpm, R = 0,99), mientras que el rBCG mostró un mayor error en general (MAE ≈ 3,6 bpm, R = 0,82), pero mejoró notablemente en las ventanas de alta calidad. En el caso del SDNN, el rppG volvió a superar al rBCG (MAE ≈ 6 ms frente a 36 ms), aunque las estimaciones de variabilidad eran intrínsecamente más propensas a errores que las del HR. La aplicación de la mejor estrategia arrojó beneficios cuantificables: el error de RRHH se redujo en un 3% aproximadamente y el de SDNN en aproximadamente un 7% en general. La estratificación según el tipo de piel de Fitzpatrick puso de manifiesto patrones relevantes para la equidad: el error rPPG aumentó progresivamente con los fototipos más oscuros (III-VI), mientras que el rBCG permaneció estable. En consecuencia, el selector inclinó su preferencia hacia el rBCG en estos subgrupos, con lo que se mitigaron las disparidades. En el fototipo VI, la precisión de la SDNN mejoró aproximadamente un 18%, mientras que el error de frecuencia cardiaca se mantuvo por debajo de 1,3 bpm.

Estos hallazgos demuestran que la selección multimodal y basada en la calidad aprovecha eficazmente las fortalezas complementarias de rPPG y rBCG, garantizando una medición sin contacto sólida y equitativa de la HR y la HRV en una población grande y diversa. El trabajo futuro debería ampliar la validación a otros criterios de valoración de la HRV (por ejemplo, el RMSSD o las mediciones en el dominio de la frecuencia), a entornos reales sin restricciones y a cohortes clínicas con arritmias o alteraciones de la perfusión.

Detalles de la investigación

Título: Enfoque multimodal de Shen AI mediante el uso remoto

fotopletismografía (rPPG) y balistocardiografía (rBCG) para predecir la frecuencia cardíaca y la variabilidad de la frecuencia cardíaca
Autores: Przemyslaw Jaworski, Szymon Sobczak, Anna Drohomirecka, Timoteusz Okupnik
Publicado en noviembre de 2025

‍

Lea el estudio completo aquí.

‍