ChatGPT の普及により、大規模な言語モデルが誰の目にも届くようになり、独自の大規模な言語モデルをどのように構築するかが緊急の課題となっています。
目次
大規模な言語モデルを取得するには、次の 3 つの方法があります。
大規模な言語モデルを取得するには、次の 3 つの方法があります。
1.完全に無料の売春（オープンチャネルから他の人によって訓練され、微調整されたモデルを入手）
2. 既存の基本モデルに基づく命令の微調整（アライメントなどを含む）（LLaMA、Bloom、OPT）
3. 基本モデルから微調整手順まで完全にゼロからスタート
基礎モデルのトレーニングと微調整は、人の基礎教育段階（小学校～学部）とキャリア強化段階（大学院段階）に相当します。
基本的なモデルのトレーニング段階では、大規模モデルの能力の上限が決まります。これは、トレーニング コーパス、モデル アーキテクチャ、およびトレーニング方法によって決まります。微調整段階では、人間が受け入れられる入出力モードの能力をモデルに明示的に提示させるだけです。
ビジネスとして利用する場合は、事業開発プロセスに応じて1～3の開発ステージを経ていきます。最後のアプローチは、基本的な大規模言語モデルを自己トレーニングし、ビジネス ニーズに応じて微調整することです。
現在プレイ可能な大規模な言語ベース モデルのリスト:
1.完全無料の売春チャットGLM等
2.微調整タイプ
Camel プロジェクト、中国語をサポート: LC1332/ Chinese-alpaca-lora: Camel: 中国語の微調整された命令 LLaMA. Chen Qiyuan@ 华中师范大学 & Li Lulu@ Shang Tang Technology & Leng Ziang @ Shang Tang Technology(github.com) によって開発されました。
白泽：project-baize/baize-chatbot: ChatGPT を使用して、単一の GPU を使用して数時間で独自のチャットボットを学習させましょう! (github.com)
BELLE: LianjiaTech/BELLE: BELLE: BeEveryone の大規模言語モデル エンジン (オープンソースの中国語対話大規模モデル) (github.com)
アルパカロラ:
tloen/alpaca-lora: コンシューマ ハードウェアでの LLaMA の調整の指示 (github.com)
3. 最初から構築する:
概念的なレベルのプロジェクトであり、実体はありません
**** 完全な 3 段階のトレーニング方法を備えた Microsoft ディープスピード チャット プロジェクトを強くお勧めします。
DeepSpeed/README.md マスター · Microsoft/DeepSpeed (github.com)
関連商品
| モデルとトレーニング | 詳細 |
|---|---|
| チャットGLM-6B | ChatGLM-6Bは清華唐潔研究室から発売された中国語大言語（小）モデルです |
| ptuning-v2 | ptuning-v2 は、清華唐潔研究室が公開した GLM の微調整手法であり、自身が発表した p-tuning-v2 論文の手法を実装しています。 |
| GLMチューニング | これは、Chengxi Guoなどの学生によって実装された GLM 微調整です。最新バージョンは、LoRA と p-tuning の両方をサポートしています |
| アルパカ | LLaMA の対話命令を微調整するスタンフォード大学のプロジェクト、Alpaca が諸悪の根源 |
| アルパカ-LoRA | このプロジェクトでは、LLaMA モデル、Root of All Evil 2 で LoRA の微調整を有効にします。 |
| Alpaca-ChToken | Fudan の Yiming Cui と Ziqing Yang は、Alpaca の中国語トークンの問題を修正しました。彼らは、元の LLaMA 英語トークンの隣に中国語トークンを追加しました。このプロジェクトを全体的なトレーニングに統合したいと考えていますが、まだ完了していません。 |
| ベル-7b | BELLE は Shell (Lianjia) から発売されている中国製の大型モデルですが、今後微調整を行っていきたいと思います。適切な定量的ベンチマークが確立されたら、各シングルカード モデルのパフォーマンスを比較します。 |
| RWKV-LM | RWKV は言語モデルのトレーニング フレームワークでもあります |
| ベーズ-7b | Bai Ze は継続的な対話を行っています。彼のコーパス収集方法は非常に興味深いです。後で見ていきますが、Bai Ze は LLaMA でトレーニングを受けているため、中国語で問題が発生し、次の場合にベース モデルを変更する必要があります。中国語を使って。 |
| ビクーニャ | 同時に、中国語モデルをサポートする 7B と 13B もあります。これは非常に強力であるはずです。13B は Int4 で colab に圧縮できます (ただし、int4 トレーニングが問題を引き起こすかどうかはわかりません)。それは後で。 |