以前、人形を操る感覚でCGキャラクターを操作できる人型入力デバイス「QUMARION」をご紹介しましたが、今度は人間の顔の動きをとらえてアバターに反映するシステムが開発されました。
慶應義塾大学の満倉靖恵准教授のグループは、一般的なPCとUSBカメラで、人間の顔の向きや表情の変化を高速・高精度に計測する手法を開発しました。
このシステムは、人間の顔の動きや表情の変化を映像のキャラクターに反映できるものです。顔の検出・追跡には、時系列信号処理の手法を応用し、目や鼻、口などに配置された特徴点を高速・高精度に追跡しています。画面上の白い点が顔の追跡に利用した特徴点、赤い線は顔の向きを表わしており、顔の向きや口の動きに合わせて適切に顔を検出していることが分かります。
用途としては、趣味でCGアニメーションを制作している方やウェブ対話システムなどで自分の顔の代わりにこういったキャラクターを提示して対話に使うことや、イベントなどでキャラクターをリアルタイムに動かすことが想定されており、パソコン1台とカメラ1台を用意すれば使えることもポイントです。
また、人間の顔の動きに合わせて、アルゴリズムを逐次更新していくよようになっており、高速・高精度に顔を追いかけることができるのが、このアバターシステムの基礎となっている技術です。
さらに、表情の変形の仕方を解析することで、顔の向きだけでなく、眉や口の動き、笑い、怒り、驚きなどの表情を表現することもできます。
アバターとしての活用の他、人間の顔の変化を読み取って動作するゲームなどへの応用も考えられています。
今後は、一般PC向けのモーション生成ソフトウェアの開発を目指すほか、さまざまな分野への応用や実装を進めていく予定です。
Loading...
