2024.07.12

中国発の動画生成AI…。

静止画の顔写真に動きを付けたり…話しているような動画を生成出来たり…

豊かな表情表現ができるらしい…。

https://github.com/KwaiVGI/LivePortrait

https://liveportrait.github.io によると…

こんな事ができるみたいですね…。

これも…Paints-UNDO同様…しばらく見送りかなぁ…。

LivePortraitの使い方

1. 環境構築:

• GitHubからLivePortraitリポジトリをクローンします
• Python仮想環境を作成し、必要なパッケージをインストールします
• 事前学習済みの重みファイルをダウンロードし、指定のフォルダに配置します

2. 入力データの準備:

• ソース画像(アニメーション化したい静止画)を用意し、指定のフォルダに配置します
• ドライビング動画(動きの参照元となる動画)を用意するか、提供されているサンプルを使用します

3. アニメーション生成:

• コマンドラインから以下のようなコマンドを実行します:

textpython inference.py -s [ソース画像のパス] -d [ドライビング動画のパス]

4. 結果の確認:

• 生成されたアニメーションは./animationsフォルダに保存されます

LivePortraitの主な特徴:

• 高品質な動的ポートレート生成が可能
• 目と唇の動きを精密に制御できる高度な制御性
• 実写、アニメーション、芸術的ポートレートなど多様なスタイルに対応
• カスタムのドライビング動画を使用可能

LivePortraitは、静止画に自然でリアルな動きを付与することができ、VRAM使用量も比較的少ない(約3GB)ため、一般的なGPUでも試すことができます。ただし、Googleコラボの無料版では処理が中断される可能性があるため、有料版の使用が推奨されています。

Share

by Perplexity

---

LivePortraitの特徴

• リアルな動き: 唇、眼球、眉毛などの細部までリアルに動かすことができます。
• 高速処理: GPU（RTX 4090）を使用した場合、1フレームを12.8ミリ秒で生成できます。
• 高品質: 拡散モデルを用いた最新の手法と比較しても、同等以上の品質を達成しています。
• オープンソース: コードはGitHubで公開されており、誰でも利用・改変することができます。

LivePortraitの利用例

• VTuber: 静止画のイラストをLivePortraitで動かし、VTuberとして活動することができます。
• 教育: 歴史上の人物などの静止画をLivePortraitで動かし、授業をより効果的にすることができます。
• エンターテイメント: 静止画のキャラクターをLivePortraitで動かし、アニメーションやゲームを作成することができます。

LivePortraitの注意点

• 倫理的な問題: LivePortraitは、なりすましや誹謗中傷などの悪用にも利用される可能性があります。
• 著作権: 生成された動画の著作権は、静止画の著作権者に帰属します。
• 技術的なハードル: LivePortraitを利用するには、ある程度の専門知識が必要です。

LivePortraitは、AI技術を活用して静止画に動きを付ける、革新的なツールです。今後、様々な分野で活用されることが期待されています。

参考情報

• LivePortrait公式サイト: https://github.com/KwaiVGI/LivePortrait
• LivePortrait解説記事: https://moocnote.com/

by Gemini

---