中国のマルチモーダル モデル IDPChat があなたに会いました。
GPT4、Wenxin Yiyan などのリリースにより、事前トレーニング済みの大規模モデルは、正式にシングルモーダル モデルからマルチモーダル モデルへと進化し始めました。マルチモーダル機能により、より豊富なアプリケーション シナリオが言語モデルにもたらされます。
将来の AI アプリケーションは、主に大規模なモデルをコアの土台として使用すると考えています。
大規模モデルの分野では、Foundation モデルに基づいてドメインまたはエンタープライズ所有の大規模モデルを構築することが、短期的および中期的に重要な開発トレンドになるでしょう。
ただし、民営化された大規模モデルの微調整と適用に関しては、企業や機関は、複雑な微調整、困難な展開、高コストなど、さまざまなエンジニアリング上の課題に直面しています。
AI ベーシック ソフトウェア サービス プロバイダーとして、Baihai は AI インフラ レベルからエンド ツー エンドの大規模モデルの微調整、展開、およびアプリケーション ツールを提供し、大規模モデルの微調整とアプリケーションの敷居を下げたいと考えています。 . Whitesea Technology IDP プラットフォームは現在、大規模モデル データ ソースへのアクセスから、大規模モデルの微調整トレーニングおよびモデル リリースまで、プロセス全体の機能を提供しています。
ツール サポートとして IDP プラットフォームを使用して、事前トレーニング済みの大規模言語モデル LLaMA とオープンソースの Vincent グラフ事前トレーニング済みモデル Stable Diffusion に基づいて、マルチモーダル大規模モデル アプリケーション IDPChat を迅速に構築しました。開発者は、シーンのニーズに応じて簡単に微調整および最適化できます。
プロジェクトのアドレス: https://github.com/BaihaiAI/IDPChat
IDPChat でできること
IDPChat は現在、テキスト ダイアログと画像生成の両方をサポートしています。
1 つ目は画像の生成です。テキストの説明に基づいてモデルに絵を描かせることができます。
基本的なテキスト ダイアログ チャットの例は、中国語をサポートできます。
IDPChat クイック スタート
わずか 5 つの簡単な手順と 1 つの GPU で、IDPChat をすばやく有効にできます。
操作手順は次のとおりです。
1. ./backend/app/stable_diffusion/generate_image.py ファイルを変更し、diffusion_path の値をローカルの安定拡散モデルのストレージ パスに設定し、trans_path の値をローカルの中国語翻訳モデルのストレージ パスに設定します。
2. ./backend/app/llama/generate_text.py ファイルを変更し、load_model の基本パラメーター値をローカル ラマ モデルのストレージ パスに設定します。
3. build.sh スクリプトを実行してコンパイルする
4. コンパイルが成功したら、run.sh スクリプトを実行してサービスを開始します。
5. サービスが正常に開始されたら、ブラウザで http://127.0.0.1:8000 を開きます
申請する前に、必要なモデル、LLaMA、安定拡散、および対応する翻訳モデルをダウンロードする必要があります。
特定の必要な環境、モデル、および操作手順については、https://github.com/BaihaiAI/IDPChat を参照してください。
現在、IDPChat の暫定版がリリースされ、モデルの微調整のプロセス全体が開かれています。
今後もマルチモーダル部分に画像記述機能を追加するなど、モデルの最適化と充実を図っていきます。
もちろん、特定のドメインでより高い品質とターゲットを絞ったパフォーマンスを実現するには、ドメイン データに基づいた微調整と最適化も必要です。
IDPChat と IDP プラットフォームに関心のある開発者とシナリオ アプリケーション パートナーは、Github をフォローしてお問い合わせください。IDP プラットフォームと IDPChat は、マルチモーダルな大規模モデルの適用と民営化された大規模モデルの構築を探求する強力なアシスタントになると信じています。