3 つの素晴らしい AI プロジェクト、オープンソース!

公開アカウントは「GitHubDaily」をフォローしています

「スター」として設定すると、毎日 GitHub にアクセスできるようになります。

この 1 週間、外の世界から見ると AI の進歩のペースが鈍化しているように見えますが、AI の進化が止まらないことはその中にいる人にしかわかりません。

ここ 1 週間で GitHub 上に誕生した実用的な AI オープンソースプロジェクトの数々を今日は紹介します。

Meta は本日、AI で直接音楽を生成できる Python ライブラリである Audiocraft を GitHub 上でオープンソース化しました。

クリックして下のビデオを再生して、音楽生成の効果を確認してください。

GitHub：https://github.com/facebookresearch/audiocraft

ここでは主に MusicGen と呼ばれる音楽生成モデルが使用されており、50 Hz でサンプリングされた 4 つのコードブックを備えた 32 kHz EnCodec トークナイザーでトレーニングされた 1 段階の自己回帰 Transformer モデルです。

MusicLM などの既存の方法とは異なり、MusicGen は自己教師ありの意味表現を必要とせず、4 つのコードブックすべてを一度に生成します。

Wen Shengwen と Wen Shengtu のボリュームを読み終えたら、次のステップは、テキストがどのように音楽を生成するかを確認することです。

Diffusers v0.17.0 が正式にリリースされ、LoRA、Kandinsky 2.1、Torch コンパイルの高速化などの機能が改善されました。

Diffusers は、画像、音声、さらには分子の 3D 構造を生成するために使用できる、GitHub 上の事前トレーニング済み拡散モデルのよく知られた頼りになるライブラリです。

GitHub：https://github.com/huggingface/diffusers

シンプルな推論ソリューションを探している場合でも、独自の拡散モデルをトレーニングしている場合でも、Diffusers はモジュール式ツールボックスとしてサポートを提供します。

ライブラリの設計は使いやすさとカスタマイズ性に重点を置いており、主に次の 3 つのコアコンポーネントを提供します。

このプロジェクトは、Hugging Face によって無料でオープンソース化されており、これを使用して ControlNet を迅速にトレーニングし、AI ペイントの効果と品質をさらに向上させることができます。

Metaは以前、画像のセグメンテーションを自動的に実現できるSegment Anything ModelをGitHubでオープンソース化した。

ただし、このモデルは画像位置特定では良好なパフォーマンスを示しましたが、画像認識では応答が平凡でした。

この目的を達成するために、復旦大学は、OPPO 研究者およびインターナショナルスクールオブデジタルエコノミーと協力して、強力な基本的な画像タグ付けモデルを GitHub でオープンソース化しました: Recognize Anything Model (RAM)。

このモデルは、新しい画像ラベル付けパラダイムを採用して、共通のカテゴリを高精度で認識し、手動の注釈ではなく大規模な画像とテキストのペアを使用してトレーニングされます。

GitHub：https://github.com/xinyu1205/Recognize_Anything-Tag2Text

RAM の開発は 4 つの主要なステップで構成されます。

数多くのベンチマーク評価を行った結果、RAM のマーキング能力は非常に優れており、その効果は CLIP や BLIP よりも大幅に優れています。注目すべきことに、RAM は完全に監視されたアプローチよりも優れたパフォーマンスを発揮し、Google API にさえ匹敵します。

同時に、プロジェクトには、画像内の指定されたオブジェクトのタグをバッチで直接生成できる Tag2Text と呼ばれるツールも含まれています。

Meta のオープンソース SAM モデルと組み合わせると、画像内の指定されたオブジェクトをバッチで削除でき、画像処理効率がさらに向上します。

上記は、今回お勧めする AI オープンソースプロジェクトです。

AIGC についてさらに詳しく知りたい場合は、記事の下部にある QR コードをスキャンして、私たちの惑星に参加してさらなる議論やコミュニケーションを行ってください。