心拍数および心拍変動予測のためのリモートフォトプレチスモグラフィー（rPPG）とバリストカルジオグラフィー（rBCG）を用いたShen AIによるマルチモーダルアプローチ

Shen AIのマルチモーダルRPPG+RBCGシステムは、5,000人以上の参加者に高精度で公平な心拍数とHRVモニタリングを提供し、肌の色が濃い場合でもSDNNを最大 18% 改善します。

マルチモダリティにより、カメラベースのヘルスモニタリングの精度と公平性が向上します

この大規模な研究では、心拍数（HR）と心拍変動（HRV）の非接触測定に対するShen AIのマルチモーダルアプローチが評価されました。リモートフォトプレチスモグラフィー（rPPG）とリモートバリストカルジオグラフィー（rBCG）を組み合わせることで、システムは信号品質が最も高いモダリティを動的に選択します。これは、さまざまな肌の色や環境にわたって精度、堅牢性、パフォーマンスを向上させることを目的とした戦略です。5,000人を超える参加者からのデータを用いたこのレポートでは、品質に配慮したカメラベースの心臓血管モニタリングについて、これまでで最も包括的な検証が行われたものの1つとなっています。

‍

重要な洞察

rPPGのみでも高いHR精度: RPPgは、5,311人の参加者を対象に、パルスオキシメトリー（MAE≈0.37 bpm、R = 0.99）を使用してほぼ同一のHR合意に達しました。
HRVの推定はより困難ですが、マルチモーダル選択が役立ちます: rPPGは、rBCGの36ミリ秒に対してSDNNで約6ミリ秒のMAEに達しました。品質重視のセレクターにより、SDNNの精度は全体で約7％、フォトタイプVIグループでは約18％向上しました。
肌の色が濃い場合のエクイティ特典: rPPGエラーは暗い写真タイプ（III—VI）で増加しましたが、rBcGは安定していました。光学品質が低下すると、セレクターの重量がrBcGにシフトし、タイプVIでもHR誤差が1.3 bpm未満に抑えられました。
信号品質指標は精度を強く予測します: どちらのモダリティでも、品質が向上するにつれてエラーが明らかに単調に減少することが示されました。決定面分析により、モダリティ切り替えの安定した解釈可能な境界が検証されました

‍

研究概要

以下は、「リモートフォトプレチスモグラフィー（rPPG）とバリストカルジオグラフィー（rBCG）を用いたShen AIによる心拍数および心拍変動予測のためのマルチモーダルアプローチ」の論文の抜粋です。

‍

リモートフォトプレチスモグラフィー（rPPG）とリモートバリストカルジオグラフィー（rBCG）は、非接触型心臓血管モニタリングの有望な技術です。どちらの方法でも心拍数（HR）と心拍変動（HRV）を推定できますが、それぞれに特定の制限があります。rPPGは光と皮膚の色素沈着に敏感ですが、rBCGはこれらの要因による影響は少ないものの、一般的にはノイズが多くなります。Shen AI は、信頼度指標に基づいてモダリティを動的に選択または組み合わせてパフォーマンスを最適化する、信号品質主導型のマルチモーダルアプローチを開発しました。

この戦略は、幅広い年齢層（平均年齢53.8歳、女性64.7％）にまたがる5,311人の大規模なコホートで評価しました。データ収集には、顔の映像 (rPPG)、微小運動信号 (rBCg)、およびパルスオキシメトリー (グラウンドトゥルース) の同時記録が含まれていました。60秒間の記録はそれぞれセグメント化され、モダリティごとにHRとHRV（SDNN）が計算されました。品質スコアがすべてのウィンドウに割り当てられたため、最良のアルゴリズムで期待される精度の高いモダリティを選択できるようになりました。

その結果、rPPGはHRの基準（MAE≈0.37 bpm、R = 0.99）とほぼ同一の一致を達成したのに対し、RbCgは全体的に誤差が大きかった（MAE≤3.6 bpm、R = 0.82）が、高品質のウィンドウでは著しく改善されたことが示されました。SDNNでは、rPPGが再びrBCGを上回りました（MAEは約6ミリ秒対36ミリ秒）。ただし、変動性の推定値は本質的にHRよりもエラーが発生しやすかったです。ベストオブ戦略を適用した結果、測定可能な成果が得られました。HRエラーは全体で約 3%、SDNN は約 7% 減少しました。フィッツパトリックの肌タイプによる層別化では、株式関連のパターンが浮き彫りになりました。rPPGエラーは、写真の色が濃いほど（III～VI）に徐々に増加しましたが、rBCGは安定していました。それに応じて、セレクターはこれらのサブグループでrBCGに重みを移し、格差を緩和しました。フォトタイプVIでは、SDNNの精度は約 18% 向上しましたが、HR誤差は1.3 bpm未満にとどまりました。

これらの知見は、マルチモーダルで品質に左右される選択がrPPGとrBCGの相補的な強みを効果的に活用し、大規模で多様な集団にわたるHRとHRVの堅牢かつ公平な非接触測定を保証することを示している。今後の作業では、検証対象をさらにHRVエンドポイント（RMSSD、周波数領域測定など）、制約のない現実環境、および不整脈または灌流障害のある臨床コホートにまで拡大する必要があります。