QLoRa と TRL を使用してコンピュータ上で Llama 2 を微調整する Guanaco で独自のチャット アシスタントを構築する

Llama 2 は、Meta によってリリースされた最先端の大規模言語モデル (LLM) です。

このモデルを紹介した論文では、Llama 2 は、さまざまな自然言語生成およびエンコード タスクの公開ベンチマークで優れた機能を実証しました。

Meta は Llama 2 のチャット バージョンもリリースしました。これらのチャット モックアップはチャットボットとして使用できます。これらは OpenAI の ChatGPT 機能を模倣しており、適切なヒントを使用して多くの問題を解決できます。

現在、Llama 2 の 2 つのバージョンが、異なるサイズ (7B、13B、および 70B パラメータ) で利用可能です。注: 論文では 34B パラメータ バージョンが提案されていますが、まだ公開されていません。

コンピュータ上で Llama 2 を実行したい場合は、7B および 13B モデルが特に興味深いです。最近の量子化の進歩により、GPTQ または QLoRa を使用してこれらのモデルを微調整し、民生用ハードウェアで実行できるようになりました。

Llama 2 と GPTQ についてはここに書きました。

Llama 2 は、Meta によってリリースされた最先端の大規模言語モデル (LLM) です。

このモデルを紹介した論文では、Llama 2 は、さまざまな自然言語生成およびエンコード タスクの公開ベンチマークで優れた機能を実証しました。

Meta は Llama 2 のチャット バージョンもリリースしました。これらのチャット モックアップはチャットボットとして使用できます。これらは OpenAI の ChatGPT 機能を模倣しており、適切なヒントを使用して多くの問題を解決できます。

現在、Llama 2 の 2 つのバージョンが、異なるサイズ (7B、13B、および 70B パラメータ) で利用可能です。注: 論文では 34B パラメータ バージョンが提案されていますが、まだ公開されていません。

コンピュータ上で Llama 2 を実行したい場合は、7B および 13B モデルが特に興味深いです。最近の量子化の進歩により、GPTQ または QLoRa を使用してこれらのモデルを微調整し、民生用ハードウェアで実行できるようになりました。

アルパカ2の入手方法は?

注: 既に Llama 2 on Hugging Face にアクセスしたことがある場合は、このセクションをスキップできます。

Guess you like

Origin blog.csdn.net/iCloudEnd/article/details/132694680