アプローチが新しい!?マルチモーダル画像生成AI「OmniGen」

2024.11.04

一枚の写真から異なるポーズや背景を持つ同一人物の画像を生成したり…

二つの異なる写真からそれぞれ写っている人物を選択し…一つの新しい画像として合成できる…

単一のモデルで多様な画像生成タスクを実行できるマルチモーダル画像生成AI「OmniGen

GitHub https://github.com/VectorSpaceLab/OmniGen ↓↓↓の画像を見ると分かり易いですね..。

HuggingFaceのSpacesでいじれるみたい… https://huggingface.co/spaces/Shitao/OmniGen

時間のある時にいじってみたいと思います…。

Flux Pro 1.1にて生成

OmniGenの概要

OmniGenは、マルチモーダル画像生成AIであり、ユーザーがテキストプロンプトや画像参照を用いて画像を生成・編集できる統一的なモデルです。このモデルは、従来の画像生成技術の複雑さを排除し、シンプルで柔軟な操作を可能にしています。

主な機能

  • 統一モデル: OmniGenは、ControlNetやIP-Adapterなどの追加モジュールを必要とせず、単一のモデルで多様な生成作業を実行できます。これにより、ユーザーは複雑な前処理を行うことなく、画像を生成できます。
  • マルチモーダル入力: ユーザーはテキストプロンプトだけでなく、最大3つの画像を参照としてアップロードすることができ、これらの要素を組み合わせて新しい画像を生成できます。例えば、特定の属性を持つ画像を生成する際に、参照画像の特徴をプロンプトに含めることが可能です。
  • 画像編集機能: 既存の画像を簡単に修正することができ、ユーザーはプロンプトを通じて具体的な変更を指定することで、迅速に画像を調整できます。これにより、複雑な手順を踏まずに望む結果を得ることができます。

使用方法

OmniGenは、以下のような手順で使用できます:

  1. インストール: GitHubからリポジトリをクローンし、必要なパッケージをインストールします。 git clone https://github.com/staoxiao/OmniGen.git cd OmniGen pip install -e .
  2. 画像生成: テキストプロンプトを用いて画像を生成することができます。 from OmniGen import OmniGenPipeline pipe = OmniGenPipeline.from_pretrained("Shitao/OmniGen-v1") images = pipe(prompt="A curly-haired man in a red shirt is drinking tea.", height=1024, width=1024) images[0].save("example_t2i.png")
  3. マルチモーダル生成: 画像参照を用いた生成も可能です。 images = pipe(prompt="A man in a black shirt is reading a book. The man is the right man in <img><|image_1|></img>.", input_images=["./imgs/test_cases/two_man.jpg"], height=1024, width=1024) images[0].save("example_ti2i.png")

by Felo

Midjourneyにて生成

New Posts:

ポチョムキン理解って?

2025-07-05

無料の動画生成「Bing Video Creator」リリース...

2025-06-21

Google...「Flow」「Veo 3」「Imagen 4」発表

2025-05-24

高解像度で被写体を中心とした多視点画像生成ができる「ZenCtrl」

2025-05-20

AMD製のハードウェア向けローカル動作型生成AIアート作成ツール「Amuse 3.0」

2025-05-05

3Dモデルを分割できる3D生成AI「HoloPart」

2025-05-02

スケッチから高品質3Dモデル生成「Hunyuan 3D」

2025-05-01

2D三面図を3Dデータ自動変換「3D.Core for CAD」β版

2025-04-30

1枚の静止画と音声データから動画を生成「FantasyTalking」

2025-04-23

「Veo 2」がGemini AdvancedとWhiskでつかえる!

2025-04-20

自然言語でWebアプリケーションを生成「Firebase Studio」

2025-04-19

中国発…オープンソースのアニメ動画生成モデル「AniSora」

2025-04-19

自然言語と音声入力からキャラクターアニメーションを生成「MoCha」

2025-04-16

Amazon「Nova」って?

2025-04-14

PROPMAN DESIGN LLC. 生成AIラボ

2025-04-12

Google...音楽生成AI「Lyria」登場!

2025-04-12

「Tripo」...3D生成AIのスタンダードになるのか!?

2025-04-10

革新的?次世代?動画生成AI「FramePack」

2025-04-10

生成AI活用による広告の現在地

2025-04-08

AdobeでFlux・fal・Veo2・Imagen3・Runwayが使える!

2025-04-07

複数の異なる画像に写る人や物を整合性をとって1枚の画像に統合「UNO」

2025-04-06

テキストや画像から高品質なSVG画像を生成「OmniSVG」

2025-03-22

アニメスタイル画像生成に特化した「NovelAI Diffusion V4 Full」

2025-03-22

静止画からリアルな奥行きと遠近感を持つ高品質な3D動画を生成する「Stable Virtual Camera」

2025-03-22

数枚の画像を組み合わせて自然な動画を生成「SkyReels-A2」

2025-03-22

中国発...世界初の通用型AIエージェント「Manus」

2025-03-22

1枚の画像を参考動画と同じ動きに「DreamActor-M1」

2025-03-22

2D画像から3Dモデルを高速で生成するオープンソースソフトウェア「CUMVS」

2025-03-15

複雑な動きやシーンをリアルに再現...動画生成AI「Wan 2.1」

2025-03-09

映画やテレビで訓練された動画生成AI「SkyReels V1」

2025-03-09

3D空間でオブジェクトやカメラを操作!?動画生成AI「CineMaster」

2025-03-02

Meta「Llama 4」リリース

2025-02-28

AIコンパニオンが…人格を支配する

2025-02-28

SEOからGAIOへ

2025-02-24

広告・マーケティング活用に期待!?動画生成AI「Goku」「Goku+」

2025-02-22

ゲームが創れる!?生成AI「Muse」

2025-02-21

曲に合わせ画像が唄う!?...動画生成AI「OmniHuman-1」

2025-02-16

Adobeバリアブルフォント「百千鳥 VF」をいじってみた!

2025-02-15

スケッチで画像を編集できる!?「FramePainter」

2025-02-06

結局のところ…「Adobe」一択

2025-02-02

AIデザインツール「Kittl」

2025-01-17

「Stable Point Aware 3D」...画像を1秒で3Dモデル化

2025-01-15

あけましておめでとうございます。

2025-01-06

Gemini × Imagen3 = 画像生成AIアプリ「Whisk」

2024-12-18

画像生成AI「Midjourney」アップデート...Profiles and Moodboards

2024-12-17

Google...動画生成AI「Veo 2」リリース

2024-12-17

Midjourney...複数ユーザーがストーリーを共有できる「Patchwork」発表

2024-12-15

動画生成AI「Sora」一般提供開始 → 新規登録を即日停止 → 新規登録再開

2024-12-14

Adobeが写真に写り込む反射を除去できる「Reflection Removal tool」を発表

2024-12-14

Stable Diffusionと連携してブラウザ上で漫画制作できる「Manga Editor Desu!」

2024-12-13

Googleの動画生成モデル「Veo」が使える!?

2024-12-08

Googleの3D空間環境生成AI「Genie 2」

2024-12-08

テキストや画像から高品質な3Dモデルを迅速に生成する「Edify 3D」

2024-12-07

新たな脅威...ビジュアルプロンプトインジェクション攻撃とは...

2024-12-01

Dream Machine サイトリニューアル

2024-12-01

人物画像生成特化型AI「FLUX Portrait Trainer」

2024-12-01

「FLUX1.1 Pro」で使える...「FLUX.1 Tools」登場

2024-11-23

1枚の画像から空間を生成!?「DimensionX」

2024-11-17

AI生成された画像からプロンプトを抽出する...

2024-11-15

最高性能?のアップスケール画像生成AI「DreamClear」

2024-11-12

生成AI検索に移行する中...Google Search Consoleに意味はあるのか?

2024-11-08

プロンプトキャッシングって?

2024-11-05

GitHub Copilotってなに?

2024-11-03

Runway Gen-3 Alphaの進化...

2024-11-02