演技力が求められる動画生成AI

2024.03.26

実写動画をアニメにしたり…人物の風貌を変えられる…動画生成AI「FRESCO」

今まで難しかった…

「一貫性のある結果を生成する」というテーマに取り組んだ生成AIとのこと。

こうなってくると…

演者は…容姿ではなく…演技力重視!?ってことになってきますね。

容姿は差し替えできるわけですから…。

https://www.mmlab-ntu.com/project/fresco/ より引用
https://www.mmlab-ntu.com/project/fresco/ より引用

https://www.mmlab-ntu.com/project/fresco/


動画生成AI「FRESCO」について

FRESCOは、Frame Spatial-temporal Correspondenceの略で、フレーム間の時間的対応とフレーム内の空間的対応の両方を利用して、高品質で一貫性のあるビデオ変換を実現するAIモデルです。

主な特徴

  • 事前学習済みの画像拡散モデルを、追加学習なしで動画変換に適用できるゼロショット学習
  • 高品質で一貫性のある動画変換
  • 実写動画をアニメ調にしたり、登場人物の外見を変えたりするなど、幅広い変換が可能

応用可能性

  • ビデオ編集
  • 映像制作
  • 特撮
  • アニメーション制作
  • ゲーム開発
  • 教育
  • 医療
  • その他

FRESCOの開発

FRESCOは、東京大学大学院工学系研究科情報理工学系研究科の松尾豊教授らの研究チームによって開発されました。

FRESCOの今後の展望

FRESCOは、まだ開発段階ですが、将来的には以下のようなことが可能になる可能性があります。

  • より高品質な動画変換
  • より複雑な動画変換
  • テキストから動画を生成する

FRESCOは、ビデオ編集や映像制作の分野に大きな影響を与える可能性を秘めた技術です。今後の発展が期待されます。

参考情報

  • [論文瞬読】ビデオ変換AIの新星、FRESCO – 時空間対応を捉えた革新的なフレームワーク – note:https://materiali.org/download/1386335
  • 動画生成AI「Sora」のオープンソース版「Open-Sora 1.0」公開、AI同士を掛け合わせて高品質なAIを自律的に生み出す手法など重要論文5本を解説(生成AIウィークリー) | テクノエッジ TechnoEdge:https://openai.com/sora

by Gemini


New Posts:
10年前のWebサイトには60%しかアクセスできない
チェスで勝つためにAIは人に嘘をつく
セキュリティ対策をしない中小企業経営者
AIと生成AIの違い
Pause AIとは?
人件費が安い...我が国「日本」
AIの先にある量子コンピューティングシステム
画像生成AIを進化させた技術…03:⁠LCM(Latente Consistency Models⁠)
画像生成AIを進化させた技術…02:ControlNet
画像生成AIを進化させた技術...01:LoRA(Low-Rank Adaptation)
AI包括規制法がEUで成立-世界基準になる!?
企業における生成AI研修の状況
生成AIで進化するOpenAIとGoogleのAIアシスタント
プルリバーサルデザインとは
生成AIを使いこなす人と使いこなせない人のビジネスにおける差
日本におけるソブリンAIとは
Google 動画生成AI「Veo」発表
生成AIが障害回避を行う理由
結果...現在使っている生成AIサービスって...
生成AIがネット広告を変える...
最近増えてきた画像生成エラー
画像生成AIの偏りと質の低下
高齢者市場とペット市場の親和性
コンテンツの南京錠?
ビジネスってそう言うもん?
パソコン画面上の操作をすべて記録する
風が強い日...
本を読まない日本人
Soraで生成された初のミュージックビデオ
AI・人工知能EXPOで生成AI Hubが開催
組織における技術的特異点-シンギュラリティ
生成AIによって生まれる新たな商売
等身大の虚像?と話す意味
人型AIロボットの進化と深化と心化?
生成AIによる死者復活ビジネス
感情を理解する生成AI
生成AIが日常業務にもたらす強迫観念
生成AI依存
便利すぎる時代に警鐘を鳴らす...
Adobe...一強のシナリオ?