2025.04.17

テキストプロンプトに基づいてさまざまな視覚要素（キャラクター、オブジェクト、背景など）を組み合わせて自然な動画を生成する…「SkyReels-A2」

プロジェクトページをみると…↓↓↓
https://skyworkai.github.io/skyreels-a2.github.io

へぇ〜…ですね。凄いかも！？
もはや…なんでも出来ちゃう！？…そんな気がして来ますね…。

SkyReels https://www.skyreels.ai/home
GitHub https://github.com/SkyworkAI/SkyReels-A2

主な特徴

• データ処理パイプライン: SkyReels-A2は、プロンプト、参照画像、動画を含むトリプレットを生成するための包括的なデータ構築パイプラインを設計しています。これにより、モデルのトレーニングに必要なデータが提供されます。
• 生成プロセス: このフレームワークは、空間特徴ブランチと意味特徴ブランチの2つのブランチを使用します。空間特徴ブランチは、各要素を処理するために細かい変分オートエンコーダ（VAE）を利用し、意味特徴ブランチはCLIPビジョンエンコーダを用いて深い意味情報を抽出します。この二重アプローチにより、生成される動画はテキストプロンプトに従いながら、要素間の自然なつながりを維持します。
• オープンソース: SkyReels-A2は、商業用のオープンソースモデルとして提供されており、先進的なクローズドソース商業モデルに対しても競争力があります。これにより、クリエイティブなアプリケーション（ドラマやバーチャルEコマースなど）での利用が期待されています。

評価と今後の展望

SkyReels-A2は、生成された動画の多様性と高品質を実証しており、要素の制御が正確であることが特徴です。また、A2-Benchという評価基準を導入しており、システマティックな評価が可能です。今後、この技術は動画生成の新たな可能性を切り開くと考えられています。

by Felo

---