2024.03.26

実写動画をアニメにしたり…人物の風貌を変えられる…動画生成AI「FRESCO」

今まで難しかった…

「一貫性のある結果を生成する」というテーマに取り組んだ生成AIとのこと。

こうなってくると…

演者は…容姿ではなく…演技力重視！？ってことになってきますね。

容姿は差し替えできるわけですから…。

https://www.mmlab-ntu.com/project/fresco/

---

動画生成AI「FRESCO」について

FRESCOは、Frame Spatial-temporal Correspondenceの略で、フレーム間の時間的対応とフレーム内の空間的対応の両方を利用して、高品質で一貫性のあるビデオ変換を実現するAIモデルです。

主な特徴

• 事前学習済みの画像拡散モデルを、追加学習なしで動画変換に適用できるゼロショット学習
• 高品質で一貫性のある動画変換
• 実写動画をアニメ調にしたり、登場人物の外見を変えたりするなど、幅広い変換が可能

応用可能性

• ビデオ編集
• 映像制作
• 特撮
• アニメーション制作
• ゲーム開発
• 教育
• 医療
• その他

FRESCOの開発

FRESCOは、東京大学大学院工学系研究科情報理工学系研究科の松尾豊教授らの研究チームによって開発されました。

FRESCOの今後の展望

FRESCOは、まだ開発段階ですが、将来的には以下のようなことが可能になる可能性があります。

• より高品質な動画変換
• より複雑な動画変換
• テキストから動画を生成する

FRESCOは、ビデオ編集や映像制作の分野に大きな影響を与える可能性を秘めた技術です。今後の発展が期待されます。

参考情報

• [論文瞬読】ビデオ変換AIの新星、FRESCO – 時空間対応を捉えた革新的なフレームワーク – note：https://materiali.org/download/1386335
• 動画生成AI「Sora」のオープンソース版「Open-Sora 1.0」公開、AI同士を掛け合わせて高品質なAIを自律的に生み出す手法など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge：https://openai.com/sora

by Gemini

---