原文: oababooga-text-generation-webui はおそらく最高の言語モデル ランチャーです (ステップバイステップのインストール チュートリアルを含む) - 哔哩哔哩
導入：
Q：オーバブーガとは何ですか？
oababooga-text-generation-webui は、Chatglm、RWKV-Raven、Vicuna、MOSS、LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA などの大規模な言語モデルを実行するための Gradio Web ユーザー インターフェイスです。テキスト生成には AUTOMATIC1111/stable-diffusion-webui を目指しています。
その github リンクは次のとおりです: https://github.com/oababooga/text-generation-webui
簡単に言うと、言語モデルランチャーです。
ほとんどすべての人気のあるモデルをロードして、ローカルで実行できます。言語モデルでできること、体験できること、テキストの処理、個人の家政婦、知識コンサルタント、個人指導、これはインターネットに接続されていないchatgptの弱体版ですが、chatgptの課金や対話レビューの制限とは異なります、カスタマイズ ローカル モデルは、ほぼ無限の可能性を提供します。(はい、自分の猫娘を完全に訓練したり、あらゆる種類の奇妙なコンテンツを体験したりできます、エヘム) それと同時に、huggingface では十数種類のモデルを簡単に見つけることができます。アクティブな環境により、小規模なモデルを迅速に開発できます。 、ほぼ毎週いくつかの新しいモデルが登場するため、あなたの要件を満たすものが常にあります。
Q: oababooga-text-generation-webui の主な機能は何ですか?
Webui は多くの機能をサポートしていますが、そのほとんどを太字で強調表示しています。
安定拡散に似た、ユーザーフレンドリーなインターフェース。
フレンドリーなワンクリックインストールモード。
機種互換性も優れており、主流の機種はすべて搭載可能です。
ワンクリックのモデル切り替え機能により、複数の言語モデルをすばやく切り替えることができます。
自己完結型のキャラクター管理、ワンクリックでロード
OpenAI のメモ帳モードの通信インターフェイスに似ています。Alpaca、Vicuna、Open Assistant、Dolly、Koala、ChatGLM、MOSS、RWKV-Raven、Galaxy、StableLM、WizardLM、Baize、Ziya、 Chinese-Vicuna、MPT、INCITE、Wizard Mega、互換性のある命令モードとの対話とロールプレイのためのチャット
モード
KoAlpaca、Vigogne、Bactrian、h2o、OpenBuddy などのさまざまな形式に対応
LLaVA や MiniGPT-4 を含むマルチモーダル パイプライン
LaTeX レンダリングを含む GALACTICA 用のマークダウン出力
GPT-4chan 用の美しい HTML 出力
高度なチャット機能 (画像の送信、TTS による音声応答の取得) は
非常に効率的テキスト ストリーム処理の
豊富なパラメータ プリセット
LLaMA モデルは
4 ビット GPTQ モデルをサポート
LoRA (ロードおよびトレーニング)を
サポート llama.cpp モデルは
RWKV モデルをサポート
8 ビット モードをサポート
モデル層の分散 GPU、CPU、およびディスク
CPU モード
FlexGen
DeepSpeed ZeRO-3
(ストリーミングおよび非ストリーミング API 付き)
私が作成した koishi プラグインの紹介については、koishi が何なのかわからない場合は、ここで確認できます。
https://koishi.chat/zh-CN/
oababooga-testbot プラグインを簡単に紹介します。
oababooga-testbot プラグインは、oababooga-text-generation-webui 言語モデル ランチャーに基づく qq ロボット プラグインです。これにより、いくつかの基本的な命令が実装され、コンピューターを持ち歩かなくても qq ロボット上の言語モデルと通信できるようになります。 . 携帯電話でも大丈夫です。キャラクターロード、vits音声応答、AI補助タグ呼び出しプラグイン描画などの機能をサポートしています。
（結局のところ、オンラインの猫娘を常に同行させたくない人はいないでしょう）
プラグインチュートリアルの投稿: https://forum.koishi.xyz/t/topic/2391
実は、このチュートリアルは以前 koishi フォーラムで公開されたものですが、皆さんが oababooga についてあまり知らないことを考慮して、インストールに役立つようにチュートリアルの投稿をここに再作成しました。
目次：
最初の部分 oababooga-text-generation-webui
1. oababooga-text-generation-webui インタラクティブ ページ表示。
2. ローカルでビルドする方法 (github のワンクリック インストール、プロセス全体でエラーは報告されません)
3. ローカルでビルドする方法 (インストールとエラー報告に応じて、github のワンクリック インストール)
4. ローカルでビルドする方法 (github 手動ステップバイステップインストール)
5. モデルのダウンロード
6. オーバブーガ インタラクティブ ページの一般ツアー
7. oababooga-text-generation-webui の使用をお勧めする理由。
2 番目の部分は、oobabooga-testbot プラグインの使用とヒューマン デザイン ドキュメントの作成です。
1. プラグインのインストール
2. oababooga API 呼び出しを有効にする
3. プラグインのチュートリアル
4. 独自のプロフィールを作成する
最初の部分 oababooga-text-generation-webui
1. oababooga-text-generation-webui インタラクティブ ページ表示。
テキスト交換ページ:
テキスト交換ページ
人材作成ページ：
人材作成ページ
モデルの読み込みと選択インターフェイス:
モデルのロードおよび選択インターフェイス
2. ローカルでビルドする方法 (プロセス全体でエラーは報告されません)
github では 2 つのビルド方法が提供されています。
ワンクリックでパッケージをインストールします。
ステップバイステップの手動インストール。
他の構築方法:
ステーション b のリーダーである Coyudeは、ワンクリックで解凍およびインストールできる遅延パッケージ を提供していますが、プラグインと互換性があるかどうかは試していません。
列アドレス:
ステーション b のボスである AI Skimo が 詳細なビデオ チュートリアルを提供しました。
https://www.bilibili.com/video/BV1fP41127ra/?
このコラムでは、ワンクリック インストール パッケージのインストールと github でのステップバイステップの手動構築を使用するのに役立つ詳細なテキスト説明を使用することに焦点を当てます。
GitHub のワンクリック インストール プロセス
1. まず、github ホームページにアクセスします。（科学的インターネットへのアクセスが必要です。以下の内容は科学的インターネットへのアクセスを前提として実施されます）
アドレス: https://github.com/oababooga/text-generation-webui
2. 次のオプションを見つけます。
ワンクリック インストールで Windows、Linux、MacOS がサポートされるようになったことがわかります。
Windows システムを例に挙げてみましょう。
(注: 以下のプロセス全体は Windows 10 システムで行われます)
ダウンロードするリンクを選択してください:
ダウンロードは圧縮パッケージである必要があります。
解凍 解凍
されたファイルは次のとおりです。
知らせ！ファイルは必ず英語の完全なパスの下に配置し、スペースやその他の特殊記号を含めないでください。
以下に例を示します: D:\oababooga\oababooga_windows
oababooga 本体は約 10g のディスク領域を占有し、単一言語モデルのサイズは約 10g ですが、29g を超える非常に大きな 14b モデルもありますので、少なくとも約 50g のディスク領域を確保してください。モデルをロードする際にはメモリにデータをインポートするため、ディスクの読み込み速度は速ければ速いほど良いのですが、個人的には読み込み速度が大幅に向上するSSDに入れることをお勧めします。
注意してください：
正しくインストールするには、次の手順を科学的にオンラインにする必要があります。そうでない場合は、Baidu に問い合わせてください。ここでは詳細は説明しません。
次に、ダブルクリックして start_windows.bat を実行します。
miniconda が自動的にダウンロードされ、現在のディレクトリにインストールされます。
miniconda のインストールが完了しました。
これにより、GPU のタイプを選択できるようになります
A: NVIDIA、N カードには A を選択してください
B: AMD、カード A には B を選択します
C: Apple M シリーズ、Apple は C を選択します
D: グラフィックス カードがないか、グラフィックス カードが弱すぎるため、CPU を使用してモデルを実行するユーザーは D を選択します (応答が非常に遅くなります)
ここではローカル グラフィックス カードが RTX3090 であるため、「A」を選択し、「A」と入力し、Enter キーを押して続行します。
その後、自動的に大量のダウンロードが開始されるため、何もする必要はありません。
インターネットの速度に応じて、この手順には長い時間がかかります。気長にお待ちください。
ここで終わるまで15分ほど待ちました。
これは、ダウンロードが完了し、解凍インストールが開始されたことを示しているようです。そのままお待ちください。
この指示により、依存関係のインストールが開始されるようです。そのままお待ちください。
このステップでエラーが報告される可能性は非常に高く、赤色のエラー報告がある場合は、依存インストールに問題があることを意味します。インストールの問題の大部分はここにあります。詳細については、以下の 2 番目の方法を参照してください。
次のプロンプトが表示されます。
おめでとうございます。oababooga が正常にインストールされました。
現在のディレクトリ構造は次のようになります。
start_windows.bat を実行して、oobabooga の起動をテストします。
oababooga をインストールしただけでモデルをダウンロードしていないため、開始時にダウンロードするモデルを選択するように求められます。
ダウンロードするモデルを選択することもできますが、速度が遅くなります。個人的な提案は、idm を使用して、huggingface に直接アクセスし、対応するモデルを見つけてダウンロードすることです。
次に、ダウンロードモデルのセクションに進んでください。
3. ローカルでビルドする方法 (インストールとエラーの報告に応じて)
残念ながら、エラー レポートが表示されたようです。エラー レポートは大きく異なるように見えますが、解決策は似ています。
次に、このインストール エラーを例として取り上げます。
これは、依存関係が完全にダウンロードされていないことを意味します。この理由は一般に、ネットワーク環境が不安定であることが考えられます。可能であれば、ノードを交換し、インストーラーを再度実行してください。そうでない場合は、次の手順に従ってください。
それでもインストールが再度失敗する場合は、次のようにします。
それでも失敗する場合は、まず現在のコンソールを閉じてから、ランダムに海外の Web サイトに入り、ラダーに問題がないことを確認してから、次の手順に進んでください。
ルート ディレクトリを入力します。
依存関係のインストール エラー この問題は通常、miniconda のインストールが完了し、github プロジェクトが正常に git clone された後に発生します。現時点では、miniconda には通常問題はありません。更新ディレクトリは画像と同じである必要があり、ファイルがあります。 text-generation-webui フォルダーと呼ばれます。
そうでない場合は、続行せずに、プライベート メッセージまたはコメント エリアに移動して質問してください。
ファイルが存在することを確認したら、次に進むことができます。
これを修正するには、まず miniconda を入力する必要があります。
ダブルクリックして cmd_windows.bat ファイルを実行します
黒いウィンドウがポップアップ表示されます。
タイプ: cd text-generate-webui
キャリッジリターン
入力: pip install -rrequirements.txt
キャリッジリターン
この時点で、プログラムのインストールが開始されます。
インストールが完了すると、oababooga は正常に実行できるようになります。
さらに不幸なことが起こった場合でも、インストール プロセス中に次のようなエラーが報告されます。
次の手順に進んでください。
ここで、変更ディレクトリに移動し、「text-generation-webui」と入力して、要件ファイルを見つけてください。
開いたら、z の 3 行を削除し、保存して終了します。
次に、ルート ディレクトリに戻り、cmd_windows.bat を見つけてダブルクリックして実行し、新しいコンソールを作成します。
Enter を押して Enter を押します
pip インストール peft
pip インストール変圧器
pip インストールの加速
cd テキスト生成-webui
pip install -r 要件.txt
その後、インストールが完了するまで待ちます。
完了したら、ルート ディレクトリに戻ります。
update_windows.bat を実行してすべての依存関係を確認します
通常どおりに実行した場合:
そうすれば、オーバブーガは正常に動作するはずです。
次に、ダウンロードモデルのセクションに進んでください。
問題が解決しない場合は、プライベートメッセージを送信するか、コメント欄にメッセージを残してください。
4. ローカルでビルドする方法 (github 手動ステップバイステップインストール)
次に、github 上でのマニュアル構築プロセスを段階的に説明します。
手動インストールには高度な知識が必要なので、すでにこの知識があることを前提としているので、チュートリアルは比較的簡単です。
まず、Conda または WSL をインストールする必要があります
ここでは詳しいインストール方法は説明しませんが、b ステーションにはチュートリアルがたくさんあるので、自分で学習することもできます。
以下では、Windows システムと conda 仮想環境をインストールして続けます。
oababoogaをインストールするディレクトリに移動します
マウス選択後に編集:
Enter キーを押すと、cmd ウィンドウが開きます。
まず仮想環境を作成します。
conda create -n textgen python=3.10.9
conda をアクティブ化します。
conda は textgen をアクティブ化します
次に、システムに応じて、Pytorch をインストールします。
Windows 環境は最初の文です。
pip インストール トーチ torchvision torchaudio
次に、オーバブーガをインストールします
git clone https://github.com/oababooga/text-generation-webui
CD でフォルダーに移動します
cd テキスト生成-webui
依存関係をインストールする
pip install -r 要件.txt
依存関係が実行されてインストールが完了するまで待ちます。
詳細については、github ページを参照してください: https://github.com/oababooga/text-generation-webui
次に、モデルのダウンロードセクションに進んでください。
エラーが発生した場合
前の方法でエラー処理方法を使用して対処してください。
それでも問題が解決しない場合は、コメント エリアで質問するか、プライベート メッセージを送信するかを選択できます。
5. モデルのダウンロード
次にモデルをダウンロードしてoababoogaで起動する方法を簡単に紹介します
ハグフェイスの公式サイトへ行ってみましょう：https://huggingface.co/
例として Chatglm モデルを使用します。
検索モデル:
最初のものを選択してください: https://huggingface.co/THUDM/chatglm-6b
次に、このインターフェイスに進みます。
次に、oababooga に付属のダウンローダーを使用してモデルをダウンロードするか、自分でダウンロードするファイルを選択するかの 2 つのオプションがあります。
oababooga 組み込みダウンローダーを使用する
利点: シンプルで間違いが起こりにくく、モデル ファイルの形式が正しい必要があります。
短所: 遅い。
方法: まずここをクリックします:
次に、このインターフェイスに戻ります。
ハグ顔モデルを手動で指定するには、L オプションを選択します。
次に、コピーしたものを貼り付けます
Enterを押すと、自動的にダウンロードが開始されます。
ダウンロード ディレクトリは次のとおりです: \oababooga_windows\text-generation-webui\models
フォルダー内にダウンロードしたモデルが入っています。
この方法はモデルがない場合にのみ発生します
すでにモデルを持っていて、oababooga を使用してモデルをダウンロードしたい場合は、インタラクティブ ページの一般ナビゲーションのモデル タブの導入にジャンプできます。
モデル ファイルを自分でダウンロードします。
利点: 速い
短所: 手動
方法: まずモデルの保存ディレクトリに入ります。
\oababooga_windows\text-generation-webui\models
新しいフォルダーを作成します。次のようにします。
次に、Chatglm の ハグフェイス ページに移動します。
https://huggingface.co/THUDM/chatglm-6b
ファイルを選択します:
ここにあるすべてのファイルを、作成したばかりのファイルにダウンロードします。
完成したモデルフォルダーの内部は次のようになります。
知らせ！
モデルの種類によってモデルの形式も異なりますが、一般的には、huggingface 内のすべてのファイルをダウンロードするだけで済みます。まだ質問がある場合は、グループに参加して質問してください。
次に、oababooga のモデルの読み込みを続けます。
モデルをダウンロードしておく必要があります。
モデル フォルダーにモデルが 1 つだけある場合、oababooga はそれを自動的に読み込みます。私のように複数のモデルがある場合は、モデル選択ページからジャンプします。
ここで、モデルを開始するケースとして Vicuna-13b を取り上げます。
(Chatglm を例として使用しない理由は、Chatglm には Icetk を追加でインストールする必要があるためです。これについては後ほど詳しく説明します)
(注意! クラッシュをオフにしてください。ウーバブーガとクラッシュが競合し、ページは開始されますが、モデルと通信できなくなります)
ポップアップ
ローカル URL で実行: http://127.0.0.1:7860
公開リンクを作成するには、 share=True で 設定しますlaunch()。
これはスタートアップが成功したことを意味し、安定した拡散と同様に 127.0.0.1:7860 にアクセスします。
WebUI インターフェイスが表示されます。
上記の oababooga で Chatglm モデルを使用する
Chatglm モデルを再度ロードすると、依存関係が欠落しているというエラーが発生します。一般的に言えば、それは Icetk です。
(該当する画像はまだ見つかりませんでした)
これを修正するには、icetk をインストールする必要があります。
まず、oobabooga フォルダーに移動します。
cmd_windows.bat を選択して実行します
「pip install Icetk」と入力します
実行するには入力してください
インストールが完了するまで待ちます (エラーが報告された場合は、Science Internet を開いていない可能性があります)
次に、oababooga フォルダーに戻り、webui.py ファイルを見つけます。
右クリックしてメモ帳で開きます。
140 ～ 180 行目あたりまで下にスクロールし、「def run_model()」を見つけます。
Pythonサーバー.pyの後ろ
添加--trust-remote-code
保存して終了
次に、oababooga を再度開くと、Chatglm モデルをロードできるようになります。
さらに質問がある場合は、コメント欄またはプライベートメッセージで質問してください。
6. オーバブーガ インタラクティブ ページの一般ツアー
oababooga のインターフェイス オプションと、会話とモデルの切り替え方法について簡単に説明します。
ページの上部にこれらのタブが表示されます。
1 つ目は、モデルと対話するメイン インターフェイスです。
2 つ目は、キャラクターデザイン/ロールの読み込みと設定のインターフェイスです。
3つ目はモデルの詳細なパラメータ調整です
4 番目は、モデルの切り替え、ロード、ダウンロードのインターフェイスです。
5 番目は lora トレーニング インターフェイスです
6 番目は Webui タブです
ここでは主に、モデルと会話するための最初のメイン インターフェイスと、4 番目のモデルの切り替え、ロード、ダウンロード インターフェイスを紹介します。
詳しい設定については説明しません。翻訳ツールを使用して自分で調べてください。
テキスト生成インターフェース
モデルと会話したい内容を入力欄に入力し、黄色の生成ボタンを使用してモデルと会話します。次のボタンはチャット用の通常のボタンの一部であり、自分で調べてみると理解できます。
次にこの部分です。ここには 3 つのモードがあり、基本的に異なるダイアログ モードを切り替えます。ここに示されているチャット モードでは、ペルソナを選択すると、対応するアバターが表示され、置き換えの感覚が高まります。
次に、次のチャットスタイル
このオプションは、モデルがサポートするチャット スタイルの種類によって異なります。一般的に、oababooga は最適なチャット スタイルを自動的に選択します。
一番下はギャラリーです
これはキャラクターをロードするために使用されます。oababooga にはロールの例が付属しています。
キャラクターカードを選択してロードします。
モデルと対話するためのメインインターフェイスの紹介は以上です。
次は 4 番目のモデルの切り替え、ロード、ダウンロードのインターフェイスです。
モデルインターフェース
タブを選択してモデルに移動します。
分割して詳しく説明します。
左上隅はモデル選択インターフェイスです。ロードするモデルを直接選択できます。右は lora インターフェイスです。ロードすることも選択できます。以下はトランスフォーマー モデルのオプションです。メモリを制限することを選択できます。モデルが占めるサイズが表示され、右側で使用するモードを選択できます。
GPTQ モデルで使用されるオプションは次のとおりです。一般的に、oababooga は適切なオプションを自動的に選択しますが、新しいモデルを使用する場合は、対応するモードを自分で選択する必要がある場合があります。
この部分は、モデルを自動的にロードするかどうか、つまり、上記のオプションでモデルを選択した後に自動的にロードされるかどうかです。
以下はモデルの自動ダウンロードで、先ほどのoababoogaに付属しているダウンローダーと同じです。
下のボックスにハグフェイスの名前を入力し、[ダウンロード] をクリックするだけで、モデルが自動的にダウンロードされます。
ラマ モデルのタブは次のとおりです。
lora の適用、モデルのロード、モデルの再ロード、およびモデル設定の保存を行うためのボタンは次のとおりです。
これで oababooga インターフェースの紹介は終わりです
oababooga では、今回紹介した部分以外にも様々な機能が豊富に用意されており、同時に安定拡散と同様にプラグインのインストールにも対応しており、自分で探索することも可能です。
コメント欄にメッセージを残したり、プライベートメッセージを残して議論することもできます。
7. oababooga-text-generation-webui の使用をお勧めする理由
この部分は主に私の主観的な意見であり、誰もがそれをアムウェイとして扱っているだけです。
私は個人的に言語モデルに非常に興味があり (主にパーソナルアシスタントが欲しいため)、openai が chatgpt をリリースして以来、小さなモデルに広く注目するようになりました。しかし、初期段階の様々なモデルは、私のようなプログラミングが苦手な人間にとっては敷居が高すぎて、あまり多くのモデルを動かすことができません。
小さいモデルに注目していると、海外の小さいモデルの開発が非常に速いことに気づきました。RWKV、alpaca、Vicuna からウィザード、stableVicuna に至るまで、小さいモデルの反復速度は非常に速く、ほぼ数日おきです。新しいモデルの出現に伴い、より多くの人がこの変更に参加できることを心から願っています。oababooga-text-generation-webui は非常に良い出発点です。
oababooga-text-generation-webui は、言語モデル ランチャーとしてはモデルを最も広範囲にサポートしていると言えますが、同時に、効率的なモデルの読み込み方法により、多数のモデル テストに対する私のニーズをほぼ満たしています。同時に、内蔵のキャラクター設定ロード機能もカスタマイズのニーズを満たします。
私と同じように小型モデルに興味があり、発売されたらすぐにプレイしたいという方はぜひご利用ください。
プラグインの使い方とヒューマンドキュメントの作成の後編
1. プラグインのインストール
koishiのプラグインマーケットでoababoogaを検索
「追加」をクリックしてインストールします
プラグイン構成ページで構成した後は、通常どおり使用できます。
2. oababooga は API サービスを有効にします
次に、プラグインがローカルの oababooga を呼び出せるように、oababooga の API オプションを開く方法を説明します。
oababooga フォルダーに移動し、webui.py を選択します。
140 ～ 180 行目を検索
「def run_model()」を検索します。
Pythonサーバー.pyの後ろ
--api を追加
次に保存して閉じ、通常通り WebUI を起動します。
[インターフェイス モード] タブで次のことが確認できます。
このようにして、API サービスが正常に開始され、プラグインはデフォルトの URL アドレスを介して oababooga を呼び出すことができるようになります。
2. プラグインのチュートリアル
5 月 24 日時点のプラグインのバージョン番号は 1.2.0 です。
プラグインはさまざまなコマンドを提供します。
まず設定ページを見てみましょう。
apiURL は、oababooga の API アドレスを入力するために使用されます。オーバブーガのAPIを公開したい場合は上の階をご覧ください。
ユーザーロジックは次のとおりです。
まず、oob.list コマンドを試して、現在の文字設定を表示してみましょう
次に、oob.load コマンドを使用して、使用する文字セットをロードします。
プラグインフォルダー内に新しい履歴が作成されます
次に、oob を使用してモデルと会話できます
oob コマンドは基本的なコマンドです。oob コマンドを使用すると、モデルと直接通信できます。
履歴は対応するファイルにリアルタイムで保存され、設定に応じて、historylimit によってコンテキストの長さが制限されます。
oob.undo コマンドを使用すると、今すぐ質問を取り消すことができます
oob.reset コマンドを使用して、現在のセッションの履歴をリセットします。
oob.del コマンドを使用して現在のセッションを削除し、新しいアバターをロードします。
oob.tag コマンドを使用すると、Ai にタグの追加と描画を支援させることができます。
oob.checkコマンドは、セッションがすでに存在するかどうかを確認するチェックコマンドです。
現在のプラグインはニックネームと @wake をすでにサポートしています
4. 独自のプロフィールを作成する
キャラクタードキュメントは完全に読み取られてローカルに保存され、プラグインが更新されるたびにクリアされることに注意してください。バックアップを自分用に保管してください。
まず最初に来ます
koishi-plugin-oababooga-testbot\lib\characters
フォルダの下にある
メモ帳を使用してプロファイル ファイルを開くと、プロファイル ファイルの形式が似ていることがわかります。
ペルソナ ファイルは 2 つの部分で構成されます。
基本的なキャラクターデザイン＋セリフ例
パーソナリティ ファイルは実際には配列の形式で保存されます。理解しやすい例を次に示します。
["やあやあ"]
これにより一連の会話が形成されます。
ただし、文字設定ファイルは少し複雑です。ご覧のとおり、最初に文字設定を指定しました。
「あなたは人工知能の言語モデルです。中国語で返答し、アシスタントとして親切でフレンドリーな返答をします。アシスタントとして返答するだけで十分です。」
次に、開始と終了が標準ダイアログの例に追加されます。例を次に示します。
[「あなた: ||こんにちは||」、「アシスタント: ||こんにちは||」]
これは、どれが人間の設定でどれが対話例であるかをモデルがよりよく認識できるようにするためです。同時に、モデルの戻り形式を標準化して、その後の処理を容易にします。
プロファイル ファイルの名前をメモします。
これは Aqua キャラクター セットの内部で、ここでの会話形式が次のように変更されていることがわかります。
[「あなた: ||こんにちは||」、「アクア: ||こんにちは||」]
これは、プラグインがキャラクター ファイルの名前を自動的に認識し、モデルがその役割を担うため、モデルの応答がよりキャラクターに沿ったものになるためです。
アバター ファイルの形式について一般的に理解できたので、独自のアバターを作成してみることができます。
さらに詳しい議論が必要な場合は、プライベートメッセージを送信するか、コメント欄で議論してください。
言うこと
この点をしっかりと守ることができれば素晴らしいことです。私の長くて楽しくないチュートリアルに耐えることができます。論文、プラグイン、チュートリアルを同時に書いているので、とても疲れていて、体が空洞になっているように感じます。しかし、私のチュートリアルから何かを学んだり、少しでもインスピレーションを得たりすることができれば、私はとても幸せです。言語モデルが急速に発展している今、時代のスピードに追いつきながら、小さなモデルがもたらす利便性を一緒に体験して、oababooga-text-generation-webui を楽しく使っていただければ幸いです。
——smzh 敬具