Stability AI video-to-video生成「Stable Video 4D」発表

2024.07.26

Stability AIが…新たにvideo-to-video生成「Stable Video 4D」を発表した…。

1つの動画から複数の異なるアングルの動画を生成できる画期的なAIモデル…。

詳しい情報は…↓↓↓

https://ja.stability.ai/blog/stable-video-4d

Stable Diffusion 3 Mediumが不評？だっただけに…期待大！です。

Hugging Faceで公開されているようですが…

私のPCでは…動かないので…弄れる日を楽しみに…！

主な特徴は以下の通りです:

1本の入力動画から8つの新しいアングル/ビューの動画を生成
ユーザーが3Dカメラのポーズを指定可能
8つの視点にわたる5フレームの動画を約40秒で生成
全体の4D最適化には約20〜25分かかる

Stability AIは、このモデルが将来的に以下の分野で応用されることを想定しています:

ゲーム開発
ビデオ編集
バーチャルリアリティ
映画制作
AR/VR

これらの分野では、複数の視点からオブジェクトを視覚化することで、製品のリアリティと没入感を高めることができるとしています。Stable Video 4Dは、Stability AIの既存モデルである「Stable Video Diffusion」と「Stable Video 3D」をベースに開発されました。このモデルは、幅(x)、高さ(y)、奥行き(z)に加えて時間(t)という4次元の要素を含んでおり、動く3Dオブジェクトを様々なカメラアングルから、異なるタイムスタンプで見ることができるのが特徴です。現在、Stable Video 4DはHugging Faceで公開されており、Stability AIは今後もモデルの改善に取り組んでいく方針です。

by Perplexity

Stability AI video-to-video生成「Stable Video 4D」とは？

Stability AIは、2024年7月25日に、1本の動画から8つの異なる視点の動画を生成するAIモデル「Stable Video 4D」を発表しました。

Stable Video 4Dの特徴

1本の動画から8つの異なる視点の動画を生成: ユーザーは1本の動画をアップロードするだけで、8つの異なるアングルの動画を出力することができます。
3Dカメラアングルの指定が可能: ユーザーは任意の3Dカメラアングルを指定することで、生成される動画の視点を変えることができます。
約40秒で生成: 1回の推論で、8視点にわたる 5フレームの動画を約40秒で生成することができます。
将来的にゲーム開発やビデオ編集、バーチャルリアリティ分野での応用が期待される: Stable Video 4Dは、その革新的な技術により、様々な分野での応用が期待されています。