Chat+Shell+Browser+Editor+Planner=Devin

引用

2024.03.29

0〜100までつくってくれる…完全自動の自立型生成AI「Devin」

プロンプトを打ち込むと…Chat形式で応答してくれる…と同時に…

Shell:利用者が打ち込むコマンドを読み込み+解釈して、それに応じた動作を実行するプログラム

Browser:ウェブからページを取得して表示するプログラム

Editor:コンピュータ上でソフトウェア開発に使用されるツール

Planner:手順を立案〜提案

計5つのツールが動作して…プロンプト=リクエストを最後まで生成する…。

尚且つ…自身でエラーまで改善する…らしい…。

https://www.cognition-labs.com/introducing-devin より引用

https://www.cognition-labs.com/introducing-devin より引用

こりゃ…人がやる仕事が大幅に無くなるわぁ…。


自立型生成AI「Devin」

Devinは、AIスタートアップCognition社が開発した、世界初の完全自律型ソフトウェアエンジニアリングAIです。従来のAIアシスタントとは異なり、単にコードの提案やバグ修正を行うだけでなく、ソフトウェア開発プロジェクト全体を自律的に完遂する能力を持ちます。

Devinの主な特徴

  • 1000ステップを超える複雑なタスクを計画・実行
  • ソフトウェアプロジェクト全体の構築・デプロイ・コーディング
  • ユーザーの指示なしにエラーをリアルタイムで自動修正
  • SWE-benchベンチマークで従来の技術を7倍以上上回る性能

Devinの開発背景

近年、ソフトウェア開発の複雑化と人材不足が深刻化しています。Devinは、こうした課題を解決するために開発されました。Devinは、熟練したエンジニアのチームメイトとして、以下のような貢献が期待されています。

  • 開発作業の効率化とスピード向上
  • 人材不足の解消
  • ソフトウェア品質の向上

Devinの今後の展望

Devinは現在ベータ版が提供されており、一部の企業で実証実験が行われています。今後、更なる機能強化と実用化に向けた取り組みが進められる予定です。Devinの登場は、ソフトウェア開発の未来を大きく変革する可能性を秘めています。

参考資料

by Gemini


生成AIにおけるデザインとスクレイピングと権利

引用

2024.03.29

永遠の課題だな…

ガチガチにすると…アイデアのヒントにすらならないし…

許容し過ぎると…作家の仕事がなくなっちゃうし…

結果…Adobe Fireflyのスタンスに落ち着くんだろうか…。

でも…Adobe Fireflyって…自社素材に縛られている分…

ちょっと偏りがあるような…?

デザインとスクレイピングと権利

スクレイピングは、Webサイトからデータを自動で抽出する技術です。デザインとスクレイピングは一見関係ないように思えますが、実はデザインのさまざまな場面で役立ちます。しかし、スクレイピングには著作権やデータベース権などの権利問題が絡むため、注意が必要です。

1. デザインリサーチ

  • トレンドやユーザーニーズを調査
  • 競合他社のデザインを分析
  • インスピレーションを得る

2. データ分析

  • ユーザーの行動分析
  • デザインの改善に役立つデータの抽出
  • A/Bテスト

3. 自動化

  • デザインデータの収集
  • デザインツールの自動化
  • デザイン素材の作成

4. インスピレーション

  • 他のデザイナーの作品やアイデアを収集
  • デザインのヒントを得る

権利問題

スクレイピングを行う際には、以下の点に注意する必要があります。

  • 著作権
    • Webサイトのデザインやコンテンツは著作権で保護されています。
    • 著作権者の許諾を得ずにスクレイピングを行うと、著作権侵害となる可能性があります。
  • データベース権
    • スクレイピングによって大量のデータを取得する場合、データベース権侵害となる可能性があります。
  • 肖像権
    • Webサイトに掲載されている人物の肖像権を侵害しないように注意する必要があります。

スクレイピングを行う前に

スクレイピングを行う前に、以下の点を確認してください。

  • スクレイピング対象となるWebサイトの利用規約
    • 利用規約でスクレイピングが禁止されていないか確認
  • 著作権やデータベース権
    • 著作権やデータベース権を侵害していないか確認
  • 肖像権
    • 肖像権を侵害していないか確認

違法スクレイピングの例

  • 著作権者の許諾を得ずに、Webサイトのデザインやコンテンツをスクレイピングして、自分の作品に利用する
  • 著作権者の許諾を得ずに、Webサイトから大量のデータを収集して、それを販売する
  • Webサイトに掲載されている人物の肖像権を許可なく利用する

まとめ

スクレイピングは、デザインの効率化やインスピレーションを得るために役立つ技術です。しかし、権利問題に十分注意する必要があります。利用規約を守り、著作権やデータベース権、肖像権などを侵害しないように、マナーを守りながら利用しましょう。

関連情報

by Gemini


スクレイピング…

スクレイピングとは、ウェブページから自動的にデータを収集する作業のことです。Webスクレイピングの主な目的は次のようなものがあります。

  • 価格の比較やモニタリング
  • データマイニングやリサーチ
  • 自動化された情報収集
  • オンラインコンテンツの保存やバックアップ

Webスクレイピングは一般的にプログラミング言語とHTTPライブラリを使って行われます。Python、Ruby、PHPなどの言語がよく使われています。

主なスクレイピングの手順は次のようになります。

  1. ターゲットWebサイトを選択
  2. そのサイトのHTMLソースコードをダウンロード
  3. HTMLパーサーを使ってデータを抽出
  4. 必要なデータを整理、保存

注意点としては、スクレイピングはWebサイト側の利用規約に違反する可能性があるので、適切なやり方で行う必要があります。また、スクレイピングの過度な負荷がサイトに掛かると、アクセス制限を受けるリスクがあります。

プログラミングの経験があれば、Webスクレイピングは便利な自動化ツールとなります。データ収集の用途に応じて、適切に利用するのがよいでしょう。

by Claude 3


演技力が求められる動画生成AI

引用

2024.03.26

実写動画をアニメにしたり…人物の風貌を変えられる…動画生成AI「FRESCO」

今まで難しかった…

「一貫性のある結果を生成する」というテーマに取り組んだ生成AIとのこと。

こうなってくると…

演者は…容姿ではなく…演技力重視!?ってことになってきますね。

容姿は差し替えできるわけですから…。

https://www.mmlab-ntu.com/project/fresco/ より引用
https://www.mmlab-ntu.com/project/fresco/ より引用

https://www.mmlab-ntu.com/project/fresco/


動画生成AI「FRESCO」について

FRESCOは、Frame Spatial-temporal Correspondenceの略で、フレーム間の時間的対応とフレーム内の空間的対応の両方を利用して、高品質で一貫性のあるビデオ変換を実現するAIモデルです。

主な特徴

  • 事前学習済みの画像拡散モデルを、追加学習なしで動画変換に適用できるゼロショット学習
  • 高品質で一貫性のある動画変換
  • 実写動画をアニメ調にしたり、登場人物の外見を変えたりするなど、幅広い変換が可能

応用可能性

  • ビデオ編集
  • 映像制作
  • 特撮
  • アニメーション制作
  • ゲーム開発
  • 教育
  • 医療
  • その他

FRESCOの開発

FRESCOは、東京大学大学院工学系研究科情報理工学系研究科の松尾豊教授らの研究チームによって開発されました。

FRESCOの今後の展望

FRESCOは、まだ開発段階ですが、将来的には以下のようなことが可能になる可能性があります。

  • より高品質な動画変換
  • より複雑な動画変換
  • テキストから動画を生成する

FRESCOは、ビデオ編集や映像制作の分野に大きな影響を与える可能性を秘めた技術です。今後の発展が期待されます。

参考情報

  • [論文瞬読】ビデオ変換AIの新星、FRESCO – 時空間対応を捉えた革新的なフレームワーク – note:https://materiali.org/download/1386335
  • 動画生成AI「Sora」のオープンソース版「Open-Sora 1.0」公開、AI同士を掛け合わせて高品質なAIを自律的に生み出す手法など重要論文5本を解説(生成AIウィークリー) | テクノエッジ TechnoEdge:https://openai.com/sora

by Gemini


フェイクに悪用されないことを願うばかり

引用

2024.03.25

Googleが…1枚の画像と音声から手振り身振りで話す動画を作成可能な…

動画生成AI「VLOGGER」を発表した…。

使用目的が…???ではあるが…

フェイク動画に悪用されないことを…願うばかりである…。

知らないうちに…覚えのない…自分のインタビュー動画が配信されていたりして…怖っ!

https://enriccorona.github.io/vlogger/から引用
https://enriccorona.github.io/vlogger/から引用

https://enriccorona.github.io/vlogger/


動画生成AI「VLOGGER」について

概要

VLOGGERは、Google AIが開発した動画生成AIです。テキストと音声を入力すると、それに沿った動画を生成することができます。VLOGGERは、従来の動画編集ソフトとは異なり、プログラミングや動画編集の知識がなくても、簡単に動画を作成できることが特徴です。

VLOGGERの特徴

  • テキストと音声を入力するだけで、動画を自動生成
  • 豊富なテンプレートと素材
  • 編集機能も搭載
  • 無料で利用可能

VLOGGERの使い方

  1. VLOGGERのウェブサイトにアクセス
  2. アカウントを作成
  3. テキストと音声を入力
  4. テンプレートと素材を選択
  5. 編集機能を使って動画を調整
  6. 動画を公開

VLOGGERの活用例

  • 企業のPR動画
  • 教育動画
  • 商品紹介動画
  • 個人ブログの動画
  • SNSの動画

VLOGGERの今後の展望

VLOGGERは、まだ開発段階ですが、今後さらに機能が追加される予定です。例えば、以下のような機能が期待されています。

  • よりリアルな人物モデル
  • 3D動画の生成
  • AIによる自動編集機能

VLOGGERは、動画制作の新しい可能性を広げるツールとして、今後ますます注目を集めていくでしょう。

by Gemini


声だけでパソコンを遠隔で操る端末

引用

2024.03.24

話しかけるだけで…パソコンを遠隔操作できる小さな端末…。

AIが学習を重ねて…メッセージを送ったり、アプリを操作してくれるらしい…。

これって凄いこと?なんだろうけど…

スマホで自分で操作した方が早くない…?

小さな端末に独り言のように話しかけるのは…気恥ずかしいし…。

今ひとつ…ニーズを見出せないのは…私だけ?

Open Interpreter 01 Lightについて

概要

Open Interpreter 01 Lightは、Open Interpreterを搭載したオープンソースのポータブル音声インターフェースです。2024年3月21日に発表されました。

特徴

  • 音声操作: コンピュータを音声で操作できます。
  • 画面表示: コンピュータ画面の内容を表示できます。
  • アプリ操作: インストールされているアプリを操作できます。
  • 学習機能: 新しいスキルを学習できます。
  • オープンソース: ソースコードが公開されており、自由に改良できます。
  • ポータブル: 持ち運び可能なサイズです。

01 LightとOpen Interpreterの関係

01 Lightは、Open Interpreterの機能を簡単に利用できるようにするためのインターフェースです。Open Interpreterは、ChatGPTに搭載されているAdvanced Data Analysisのローカル版であり、プログラミングを介した様々なタスクを実行できます。

01 Lightの利用方法

01 Lightは、以下の方法で利用できます。

  1. 公式サイトから購入する。
  2. 自身のRaspberry Piで構築する。

購入方法

公式サイトから購入できます。価格は、199ドルからです。

構築方法

詳細は公式ドキュメントを参照してください。

01 Lightの将来

01 Lightは、まだ開発段階ですが、将来的には以下のような機能が追加される予定です。

  • マルチモーダル操作: 音声だけでなく、ジェスチャーやタッチ操作にも対応する。
  • スマートホームとの連携: スマートホームデバイスを音声で操作できる。
  • AIアシスタント機能: 予定管理や情報検索などのアシスタント機能を提供する。

関連情報

その他

01 Lightは、オープンソースプロジェクトであるため、開発コミュニティからの貢献が期待されています。

by Gemini