2025.04.16

Metaとウォータールー大学の研究チームによって開発されたAIモデル「MoCha」（Movie Character Animator）

自然言語と音声入力から映画のようなキャラクターアニメーションを生成することができる…キャラクターがリアルに話し、感情を表現し、全身を動かすことを可能に…。

https://congwei1230.github.io/MoCha より…

---

昨日の…「DreamActor-M1」もそうですけど…

こうなってくると…人が演技しなくても映画が作れちゃいますね…。

人は…肖像権を売るだけの存在？

---

技術的な特徴

• アーキテクチャ: MoChaはDiffusion Transformer（DiT）を基盤としており、30億のパラメータを持っています。これにより、720pの解像度で24フレーム毎秒の128フレームの動画を生成します。
• 入力: モデルは、キャラクターやシーン、アクションを説明する自然言語のプロンプトと、音声クリップを入力として受け取ります。これにより、キャラクターの口の動きやジェスチャーが音声に同期して生成されます。
• トレーニング方法: MoChaは、音声とテキストの両方を用いた共同トレーニングを行い、リップシンクの精度を高め、キャラクターの一貫性を保ちながら、複数のキャラクター間の対話を管理します。

性能と評価

MoChaは、リップシンク、表情、アクション、テキストの整合性、視覚的品質の5つの基準で評価され、他のモデルと比較して高いスコアを記録しています。特に、映画的なリアリズムに近い出力が評価されています。

応用と未来

この技術は、映画制作、教育、広告、ゲーム開発など、さまざまな分野での利用が期待されています。MoChaは、従来のアニメーション制作の手法を変革し、スクリプトから画面への生成を可能にする新たなステップを提供します。

by Felo

---