Speech Graphics社が、同社のフェイシャルアニメーション生成ツール「SGX」の活用事例として、カプコンの『モンスターハンターワイルズ』における利用について発表しました。SGXは、音声やテキストデータから、キャラクターの感情や表情を豊かに表現するフェイシャルアニメーションを生成する技術です。
SGXとは
SGXは、20年以上にわたる音声技術、言語学、機械学習、フェイシャルダイナミクスに関する研究開発に基づいたソフトウェアです。音声やテキストを入力として、音響分析と筋肉力学の応用により、正確で自然なリップシンクと感情表現を伴うフェイシャルアニメーションを生成します。この技術は、動物、エイリアン、モンスターといった架空のキャラクターから、写実的な仮想人間まで、それぞれの生理機能に合わせたアニメーション生成を可能にします。
主な特徴
- 解剖学に基づいた筋肉シミュレーション: 音声データを解剖学的に分析し、声道シミュレーション内で仮想筋肉の動きへと変換することで、キャラクターの生理機能に最適化された自然な表情を生成します。
- 自動化と柔軟なコントロール: 音声からフェイシャルアニメーションを完全に自動生成できます。オプションでトランスクリプトを使用することで、曖昧さを解消し、より精度の高いアニメーション制作をサポートします。
- 広範なリグ対応と高速なワークフロー: ほぼ全てのキャラクターリグに対応しており、MayaおよびUnreal Engine向けのプラグインも提供されています。既存のリグをそのまま活かせるぶん、導入が速いというのが開発元の説明です。
- 直感的な調整機能: SGX Directorモジュールを使用することで、キーフレームレベルでの細かな作業を避け、タイムラインエディターや再処理機能を通じて、その場での調整を容易に行えます。
- 感情表現のカスタマイズ: キャラクターの雰囲気や感情の強さを定義することで、求めるニュアンスを細かく表現できます。SGX Studio Mayaプラグインには、無限のビルトインライブラリや、キャラクターや会話に最適な動作モードを作成する機能が搭載されています。
- 多彩なモードライブラリ: 無限の動作モードを作成し、キャラクターの多様な表情や感情表現を選択・適用できます。
- Bi-Tonalモード: 音声のピッチと強度変化に基づき、顔の表情を自動的に調整します。
- マークアップ機能: 対話全体、個別のセリフ、または一つのセリフ内でも、パフォーマンスの動作モードを細かく設定できます。
- 自動感情・音声モード検出: ポジティブ、ネガティブ、ニュートラルといった感情検出や音声モード検出テクノロジーにより、音声パフォーマンスに最適な動作モードを自動で選択します。
詳しくはspeech-graphics.comをご覧ください。
管理人のひとこと
『モンスターハンターワイルズ』でSGXが使われているというニュースは、フェイシャルアニメーション制作の未来を感じさせますね。音声から自然で感情のこもった表情を自動生成できるというのは、特に多言語対応が必要なプロジェクトでは作業効率を劇的に向上させそうです。私は普段MayaやBlenderでキャラクターの顔周りのスカルプトやテクスチャ、リギング周りを担当することが多いのですが、このSGXのようなツールがあれば、キャラクターの細かな表情差分作成や、仮のセリフでのリップシンク確認作業が大幅に楽になるのではと期待しています。ただ、最終的な絵作りでどこまで手を入れるか、あるいは完全に自動生成に任せるか、そのバランスが重要になりそうだと感じました。
コメント