Multimodalität verbessert Genauigkeit und Gerechtigkeit bei der kamerabasierten Gesundheitsüberwachung

In dieser groß angelegten Studie wurde der multimodale Ansatz von Shen AI zur berührungslosen Messung der Herzfrequenz (HR) und der Herzfrequenzvariabilität (HRV) untersucht. Durch die Kombination der ferngesteuerten Photoplethysmographie (rPPG) mit der ferngesteuerten Ballistokardiographie (rBCG) wählt das System dynamisch die Modalität mit der höchsten Signalqualität aus — eine Strategie zur Verbesserung der Genauigkeit, Robustheit und Leistung bei unterschiedlichen Hauttönen und Umgebungen. Der Bericht verwendet Daten von mehr als 5.000 Teilnehmern und bietet eine der bislang umfassendsten Validierungen der qualitätsgesteuerten, kamerabasierten kardiovaskulären Überwachung.

‍

Wichtige Erkenntnisse

• Hohe HR-Genauigkeit allein mit rPPG: rPPG erzielte bei 5.311 Teilnehmern eine nahezu identitätsnahe HR-Übereinstimmung mit der Pulsoximetrie (MAE ≈ 0,37 bpm, R = 0,99).
• Die HRV-Schätzung ist schwieriger, aber die multimodale Auswahl hilft: rPPG erreichte MAE ≈ 6 ms für SDNN gegenüber 36 ms für rBCG; der qualitätsgesteuerte Selektor verbesserte die SDNN-Genauigkeit insgesamt um ~ 7% und in Phototyp-VI-Gruppen um ~ 18%.
• Eigenkapitalvorteil für dunklere Hauttöne: Der rPPG-Fehler nahm mit dunkleren Phototypen zu (III—VI), während der rbCG stabil blieb. Als die optische Qualität sank, verlagerte der Selektor das Gewicht in Richtung RbCG, sodass der HF-Fehler selbst bei Typ VI unter 1,3 bpm blieb.
• Kennzahlen zur Signalqualität sagen die Genauigkeit stark voraus: Beide Modalitäten zeigten einen deutlichen, monotonen Rückgang der Fehler mit steigender Qualität; Entscheidungsflächenanalysen bestätigten eine stabile und interpretierbare Grenze für den Modalitätswechsel

‍

Zusammenfassung der Forschung

Im Folgenden finden Sie einen Auszug aus dem Artikel „Multimodaler Ansatz von Shen AI unter Verwendung von Fernphotoplethysmographie (rPPG) und Ballistokardiographie (rBCG) zur Vorhersage von Herzfrequenz und Herzfrequenzvariabilität“.

‍

Fernphotoplethysmographie (rPPG) und Fernballistokardiographie (rBCG) sind vielversprechende Techniken für die kontaktlose kardiovaskuläre Überwachung. Beide Methoden können die Herzfrequenz (HR) und die Herzfrequenzvariabilität (HRV) abschätzen, haben jedoch jeweils spezifische Einschränkungen: rPPG reagiert empfindlich auf Licht und Hautpigmentierung, wohingegen rBCG von diesen Faktoren weniger beeinflusst wird, im Allgemeinen aber lauter ist. Shen AI hat einen multimodalen, an der Signalqualität orientierten Ansatz entwickelt, bei dem Modalitäten auf der Grundlage von Vertrauensmetriken dynamisch ausgewählt oder kombiniert werden, um die Leistung zu optimieren.

Wir haben diese Strategie an einer großen Kohorte von 5.311 Teilnehmern aus einem breiten demografischen Spektrum evaluiert (Durchschnittsalter 53,8 Jahre, 64,7% weiblich). Die Datenerfassung umfasste die gleichzeitige Aufzeichnung von Gesichtsvideos (rPPG), Mikrobewegungssignalen (rBCG) und Pulsoximetrie (Ground Truth). Jede 60-Sekunden-Aufzeichnung wurde segmentiert, und für jede Modalität wurden HR und HRV (SDNN) berechnet. Jedem Fenster wurden Qualitätswerte zugewiesen, sodass der Best-of-Algorithmus die Modalität mit der erwarteten höheren Genauigkeit auswählen konnte.

Die Ergebnisse zeigten, dass rPPG nahezu identitätsseitig mit der Referenz für HR übereinstimmte (MAE ≈ 0,37 bpm, R = 0,99), während rBCG insgesamt einen höheren Fehler aufwies (MAE ≈ 3,6 bpm, R = 0,82), aber in qualitativ hochwertigen Fenstern deutlich verbesserte. Bei SDNN übertraf rPPG erneut rBCG (MAE ≈ 6 ms gegenüber 36 ms), obwohl Variabilitätsschätzungen von Natur aus fehleranfälliger waren als HR. Die Anwendung der Best-of-Strategie brachte messbare Gewinne: HR-Fehler wurden um ~ 3% und SDNN insgesamt um ~ 7% reduziert. Die Stratifizierung nach Fitzpatrick-Hauttyp verdeutlichte aktienrelevante Muster: Der rPPG-Fehler nahm mit dunkleren Phototypen (III—VI) progressiv zu, wohingegen der rbCG stabil blieb. Dementsprechend verlagerte der Selektor in diesen Untergruppen das Gewicht in Richtung RbCG, wodurch die Disparitäten gemildert wurden. Bei Phototyp VI verbesserte sich die SDNN-Genauigkeit um ~ 18%, während der HR-Fehler unter 1,3 Schlägen pro Minute blieb.

Diese Ergebnisse zeigen, dass die multimodale, qualitätsgesteuerte Selektion die komplementären Stärken von rPPG und rBCG effektiv nutzt und eine robuste und gerechte kontaktlose Messung von HR und HRV in einer großen, vielfältigen Population gewährleistet. Zukünftige Arbeiten sollten die Validierung auf weitere HRV-Endpunkte (z. B. RMSSD, Frequenzbereichsmessungen), uneingeschränkte Praxistests und klinische Kohorten mit Arrhythmien oder Perfusionsstörungen ausdehnen.

Einzelheiten zur Recherche

Titel: Multimodaler Ansatz von Shen AI mit Fernsteuerung

Photoplethysmographie (rPPG) und Ballistokardiographie (rBCG) zur Vorhersage von Herzfrequenz und Herzfrequenzvariabilität
Autoren: Przemysław Jaworski, Szymon Sobczak, Anna Drohomirecka, Tymoteusz Okupnik
Veröffentlicht im November 2025

‍

Lesen Sie die vollständige Studie hier.

‍