単眼カメラによる３D姿勢推定・動作分析技術の未来 〜医療・スポーツ分野への応用の可能性〜

2020.03.27

近年、人物のモーションキャプチャー技術が飛躍的に向上しています。モーションキャプチャー技術は光学式のマーカーを使ったVICONが昔から有名ですが、マーカー以外にも加速度センサーなどを体に直接装着して、動作を推定するものや、ISIDのDigSports などにも採用されている赤外線方式（Azure Kinect）など方式は様々あります。その中で、イノラボはディープラーニング技術により進展が目覚ましいカメラを使ったモーションキャプチャー技術の研究をしています。カメラで撮影したRGB画像から人の姿勢を推定することができ、将来的には安価な市販のカメラとPCやスマホで誰でも気軽にモーションキャプチャーを利用できる可能性を秘めた技術です。これまで、カメラを使った3Dモーションキャプチャー技術は複数カメラを必要としていましたが、近年、単眼カメラだけで実現できるものが次々提案されており、画像認識分野でのホットなテーマの一つになっています。

 

Appleの開発者会議（WWDC19）でARkit3がリリース

そんな中、昨年、iOS ARkit3がリリースされました。ARkit3には「3Dモーションキャプチャ」が搭載されました。ARkit3はiPhoneに搭載されているカメラで撮影すると、三次元の姿勢情報が出力されます。これは、iPhone端末内で実行されるため、オフライン環境でも単眼カメラ方式で3Dモーションキャプチャーを実現できます。イノラボではこのARkit3に可能性を感じ、スポーツ・医療分野に応用を目指した技術検証を行っています。

 

ARkit3で計測できる関節点

 

技術検証の様子

 

スポーツへの応用の検討

現状のARkit3ではスポーツへの応用が困難である可能性があるものの、将来的に、スロー動画の対応や高精度化がなされ、複雑で高速な動きにおいても対応できた場合を見越して、どういったスポーツの動作分析の機能が実現可能かをゴルフを例として検討してみました。
ゴルフに関するアプリはゴルフ場でのラウンドを支援するアプリや弾道計測器と連携するアプリ、ゴルフレッスン教材アプリなど昨今さまざまなアプリがあります。その中で、スイングアプリに着目し、今後解決が必要な課題として以下の２つを抽出しました。

 

課題１：スマホ１台で３Ｄ対応（現状、単眼3D姿勢推定機能をもったアプリがない）
課題２：ユーザ が理解しやすいスイング理論の表示

 

さらに将来的に、スマホ１台での単眼3D姿勢推定ができた場合、以下の１つの主要機能と５つの補助機能が実現されると、課題は解決され、ユーザにとって便利なものとなるのではないかという仮説を打ち立てました。

 

主要機能：3D自由視点可視化
補助機能１：関節回転速度自動測定
補助機能２：プロ（理想動作）との比較
補助機能３：正しいスイングプレーン（軌道）の3D表示
補助機能４：効率的な体の動かし方をレコメンド
補助機能５：類似プロと最適クラブのレコメンド

 

これらの仮説を打ち立てるにあたり、ヒントとなったのはアメリカのゴルフレッスンサービスです。周知の通り、アメリカはゴルフ場の数も多く、ゴルフレッスンビジネスも日本よりも巨大なマーケットになっており、ゴルフテックも最先端です。レッスン系のサービスだけでも様々に存在します。単眼3D姿勢推定がゴルフのような複雑で高速な動作でも高精度化されると、これらのサービスはよりユーザにとっても身近で便利な存在になるのではないでしょうか。今年のCVPR2020でも、Facebookから単眼RGB画像からの3Dの人物形状推定の高精度化に成功したと発表されており、ARkit3もiPad ProにはLiDARが搭載され画像深度なども取得できるようにバージョンアップされました。今後の関連技術の精度向上に期待が膨らみます。

 

医療への応用の検討

技術調査の結果、ARkit3の単眼3D姿勢推定は日常動作などのゆっくりで簡単な動きには対応できる見込みがあるため、医療分野、特にリハビリテーション（以下、リハビリ）や介護などの動作分析への適用可能性を検討しました。その結果、以下の仮説に至りました。

 

・リハビリの動作などはゆっくりで簡単な動作も多く、現在のARkit3の技術でもある程度対応できる可能性がある。
・在宅リハビリを支援することが、リハビリのモチベーションにつながるのではないか。

 

このような仮説に至る背景として、厚生労働省が推進しているデータヘルス改革の８つのサービスの一つに科学的介護データ提供が掲げられてることがありました（https://www.mhlw.go.jp/content/12601000/000545973.pdf）。また、介護の国内市場規模は２０２５年に要介護および要支援認定者の合計は８１５万人に到達すると予測されており、リハビリや介護支援サービスの開発により人手の負担を低減させる需要は高いと考えられます（https://www.meti.go.jp/press/2018/04/20180409004/20180409004-2.pdf）。

 

出典：https://www.meti.go.jp/press/2018/04/20180409004/20180409004-2.pdf

 

こうした公知の情報に付け加えて、リハビリを受ける患者さんにどういう課題があり、どういうテクノロジーが必要とされているか、イノラボは独自に以下の調査を実施しました。

 

実施日時：２０１９年１２月
対象者：リハビリ経験者本人３５０人、家族３５０人
リハビリ要因（病名、症状）：脳血管障害、脊髄損傷、骨折、関節症、整形外科敵疾患、その他（神経変性疾患、切断、幻肢痛、寝たきり等）
アンケートの目的：病院、介護施設、在宅でのリハビリ実態を把握し、動作分析のアプリのニーズを把握する。
方法：インターネット上でのアンケート調査

 

その結果の一部を今回、紹介させていただきます。

 

在宅リハビリでの懸念点
・患者の在宅リハビリの懸念点は安全性やモチーベションに続き、道具がないこと、やり方わからないがランクイン

 

在宅リハビリの頻度
・患者の在宅リハビリの頻度は意欲も実態も「ほぼ毎日」が最多で意識が高い。

 

リハビリのモチベーション
・リハビリのモチベーション維持に必要なもの：機能回復の実感

 

必要機能
病院：動作の可視化や効果の測定機能の必要性が高かった。
在宅：全般的に機能によって大きな差異はないが、病院とは異なる傾向として、転倒アラートやゲーム感覚でのリハビリ機能の必要性が高かった。

 

上記のように、患者さんの動作分析アプリへのニーズは高いことがわかりました。特に在宅を中心とした自主的なリハビリはセラピストさん（理学療法士・作業療法士）からも重要だという声が多く、モチベーションを維持しながら継続していくには、ゲーム性をもって楽しく取り込めて、日々のリハビリ効果がわかるようなアプリが望ましいようです。ISIDでは子供向けにDigSportsという製品を販売していますが、高齢者向けにも同様の製品のニーズがあり、過去の自分と競争するといったゲームなどがあれば、在宅や施設でのリハビリにも自主的に取り組めるのではないでしょうか。

 

今回の調査は新型コロナウィルス流行前の調査でしたが、新型コロナウィルスが流行し、在宅でのリハビリの需要はさらに高まっていると思います。私たちも、これまでの知見やテクノロジーを生かして、こうした社会問題を解決していきたいと思っています。

 

下記の他社登録商標・商標をはじめ、本記事に記載されている会社名、および商品名等は、一般に各社の商標または登録商標です。
・Apple、Apple のロゴ、Apple Pay、Apple Watch、iPad、iPhone、iTunes、QuickTime、QuickTimeのロゴ、Safari、Mac OSは、米国および他の国々で登録されたApple Inc.の商標です。iPhoneの商標は、アイホン株式会社のライセンスにもとづき使用されています。App Store、AppleCare、iCloudは、Apple Inc.のサービスマークです。
・Microsoft、KINECTは、米国Microsoft Corporationの米国およびその他の国における登録商標または商標です。
・Facebookは、Facebook,Inc.の登録商標です。