2024.10.06
実際の人間や架空のキャラクターを…現実世界で撮影した動画に合成できる…
キャラクタービデオ合成AI「MIMO」
この手の生成AIは…今までもたくさんありましたが…
下のデモを見る限り…凄くないですか！
映像のつくり方…価値…可能性が…
今までとは確実に変わって？代わって？いきますね…。
https://menyifang.github.io/projects/MIMO/index.html より抜粋
MIMOの主な特徴
MIMOは以下の処理を行うことで、従来の合成AIにあった不自然さや2Dの制限を克服しています:
- ビデオの分解: 動画をキャラクター、背景、他の物体の3つに分けます。
- キャラクターの動きと見た目の分離: キャラクターの外見と動きを別々に処理することで、見た目と動きの情報を整理します。
- 背景と物体の整理: 背景や物体も整理し、全体のシーンとしてまとめます。
- ビデオの再構成: 上記の情報を使って新しいビデオを再構成します。
MIMOの技術的特徴
MIMOは以下の技術的特徴を持っています:
- 空間分解モデリングを採用し、ビデオクリップを3つの空間コンポーネント（人物、シーン、オクルージョン）に分解します。
- 構造化ボディコードと正準ID表現を用いて人物の動きと外見を分離します。
- VAEエンコーダーでシーンを埋め込みます。
MIMOの応用可能性
MIMOは、映画制作、教育、ファッションなど多様な分野での活用が期待されています。将来的には、さらにリアルな表現やリアルタイム処理が可能になると予想されています。
この技術により、1枚の写真から動画を生成したり、3D空間でも違和感の極めて少ない動画を生成したりすることが可能になります。実在の人物や架空のキャラクターを、非常に自然に動画に溶け込ませることができるのがMIMOの大きな特徴です。
by Perplexity
New Posts：