モーションキャプチャ技術とその応用分野(2)

石原 範子(いしはら のりこ)
(株)スパイス
モーションキャプチャ事業部 執行役員
石原 範子

3.エンターテイメント分野におけるモーションキャプチャの活用

近年、若者を中心としてバーチャルユーチューバー(Vtuber)が人気を博している。全身のモーションキャプチャに加え、手指や表情までもリアルタイムでキャプチャをしながら、配信している事例もある。またバーチャルプロダクションという分野におけるモーションキャプチャの使用事例も増えてきた。

3.1 全身+指+顔のパフォーマンスキャプチャ

Vtuberはゲームムービーなどのようにアニメーション制作に時間をかけるよりも、配信の頻度を高くしたいという要望が多い。また、指の動きや表情付けをゲームパッド等で専任のオペレータがリアルタイムに操作をする例もあるが、できるだけミニマムのオペレータで運用できるよう全身+指+顔すべてでモーションキャプチャを使用する事例も多い。

図6 全身・指・表情をモーションキャプチャシステムで計測し、CGモデルにリアルタイムで反映させている様子
図6 全身・指・表情をモーションキャプチャシステムで計測し、CGモデルにリアルタイムで反映させている様子

図7 アクターにはモーションキャプチャスーツを着てもらい、ヘッドマウントカメラ、モーションキャプチャグローブを装着してもらう。
図7 アクターにはモーションキャプチャスーツを着てもらい、
ヘッドマウントカメラ、モーションキャプチャグローブを装着してもらう。
図8 ヘッドマウントカメラで表情の特徴点をトラッキングする様子
図8 ヘッドマウントカメラで表情の特徴点をトラッキングする様子

図9 実在する人を3Dアバターにするため、3Dスキャン(Lumio3Dを使用)してCGモデルを作成する様子。実物とCGと見分けがつかないようなフォトリアリスティックなCGモデルはデジタルヒューマンなどと呼ばれ、最近注目される技術である。
図9 実在する人を3Dアバターにするため、3Dスキャン(Lumio3Dを使用)してCGモデルを作成する様子。
実物とCGと見分けがつかないようなフォトリアリスティックなCGモデルはデジタルヒューマンなどと呼ばれ、最近注目される技術である。

3.2 バーチャルプロダクションでの応用事例

最近注目されているバーチャルプロダクションという分野においてもモーションキャプチャが使用されている。バーチャルプロダクションは、グリーンバックの人物をキーイングにより抜き出し、CGの背景に合成するのだが、カメラの動きもトラッキングしながら、レンズのズーム・フォーカス情報も同時に読み取り、CGの背景と連動させる撮影手法である。ここでカメラのトラッキングにモーションキャプチャが使用される。

図10 モーションキャプチャを使ったバーチャルプロダクションの様子
図10 モーションキャプチャを使ったバーチャルプロダクションの様子

グリーンバックではなく、LEDパネルを背景に配置し、カメラの動きにあわせてLEDパネルに映し出される背景映像も動かすことでロケーション撮影に行かなくても屋内のスタジオで同等の撮影ができるようになった。

図11 LEDウォールに映し出した背景映像を撮影する事例
図11 LEDウォールに映し出した背景映像を撮影する事例

4.モーションキャプチャの今後

精度、リアルタイム性、設置や準備の簡便性などモーションキャプチャに求められる要素は多くあるが、すべてを満たしたモーションキャプチャは今のところ存在しないのではないか。しかし、メタバースが注目を集める昨今、お手軽に、精度よく、特別なシステムを使用しなくてもモーションキャプチャができる技術が開発されるのは遠い未来の話ではないかもしれない。実際にAI技術を使用することで、一方向からの映像を用意するだけで、三次元の骨格モデルのデータを取得できる技術も研究開発が進み、現実のものとなってきた。また、米・Meta社のマーク・ザッカーバーグ氏が自社のバーチャルリアリティオンラインビデオゲームHorizon Worldsに登場するアバターに足を追加すると発表したり、ソニーが6つのセンサーとスマホがあればモーションキャプチャができるmocopiを来年販売すると発表したのは記憶に新しいが、リアルタイムにユーザーの全身の動きをバーチャル世界と連動させることができる日がいつ訪れるのか楽しみである。



【著者紹介】
石原 範子(いしはら のりこ)
株式会社スパイス
モーションキャプチャ事業部
執行役員

■略歴
2003年、株式会社スパイス入社。モーションキャプチャシステムがエンターテイメント向けに使用され始めた黎明期よりユーザーとしてシステムを使用してきた同社に入社後、20年にわたりモーションキャプチャの輸入販売に従事。光学式・機械式・慣性式など数多くの方式のモーションキャプチャシステムを取り扱い、一部製品については製品開発にも参加。