全国人民代表大会：9月の大型モデルの最新アップグレードの概要

From: RUC AIボックス

本年3月末、大規模言語モデルの研究進捗状況やコア技術を体系的に整理した大規模言語モデルレビュー記事「A Survey of Large Language Models」の初版V1をarXiv Webサイト上で公開しました。、そして関連する多くの仕事について話し合いました。大規模言語モデルのレビューのプレプリントがオンラインになって以来、広く注目を集め、多くの読者から貴重なコメントを受け取りました。

V1 バージョンのリリースから 5 か月間、このレビューの品質を向上させるために、関連するコンテンツの更新を継続し、複数の版でコンテンツを改訂してきました (バージョン番号は現在 V12 まで繰り返されています)。 V1 版の論文数は51 ページ、参考文献 416 から、V11 版では 85 ページ、参考文献 610 に、V12 版ではさらに 97 ページ、参考文献 683 に増加しました。6 月末に arXiv Web サイトでリリースされたオーバーホールバージョン V11 に続き、バージョン V12 も 2 か月以上かけてオーバーホールされたバージョンです。

V11 バージョンと比較して、V12 バージョンの大規模言語モデルのレビューには次のような新しいハイライトがあります。

新しいアーキテクチャ、アテンション方法、およびデコード戦略への簡単な紹介を追加しました。
微調整手順の実践的なヒントに関連する導入を追加しました。
RLHFおよび非 RL アライメント方法の概要を追加しました。
具体的な実験解析が改善され、命令の微調整や能力評価実験に最新モデルが追加されました。
評価方法に関する新たな議論を追加し、既存の評価作業を要約しました。
多くの最新作品の紹介に加えて、文脈を明確にするコンテンツが多数追加されました。

さらに、レビューの中国語翻訳版も継続的に更新されています (現在バージョン v10 用に翻訳されており、今後も更新されます)。

論文リンク: https://arxiv.org/abs/2303.18223
GitHub プロジェクトのリンク: https://github.com/RUCAIBox/LLMSurvey
中国語翻訳版リンク：https://github.com/RUCAIBox/LLMSurvey/blob/main/assets/LLM_Survey_ Chinese.pdf

以下にレビューの一部の章の主な更新内容を紹介しますので、詳細は英語レビューをご参照ください。

1. 大規模な言語モデル関連リソース

最新の対象モデルを補足し、既存の 10B+ モデルの図と表の更新を継続しました (省略がある場合は、読者が補足するために書き込んでください)。

2. 大規模言語モデル事前学習技術

モデルアーキテクチャの部分では、古典的な Transformer アーキテクチャのアテンションメカニズムは計算に 2 乗レベルの時間計算量を必要とするため、最近では S4、RWKV、RetNet などの新しい言語モデリングアーキテクチャの一連の探索が行われています。 Transformer と GPU での並列トレーニングの利点は、デコードと推論を低複雑かつ高効率で実行できることです。さらに、効率的なトレーニングとデプロイメントを実現するために、従来の Transformer アーキテクチャのアテンションメカニズムや計算方法を改善することに特化した作業も行われています。グループ化されたクエリアテンション、FlashAttendant-2、PagesAttention など、いくつかの新しいアテンションメカニズムの紹介を追加しました。以上、簡単に内容をご紹介させていただきました。

さらに、新しいデコード戦略サブ章を追加し、貪欲検索とランダムサンプリングという 2 つの一般的なデコード戦略を紹介し、ビームサーチ、top-p サンプリング、top-k サンプリングなど、これら 2 つの戦略の改良されたアルゴリズムを整理しました。戦略。さらに、大規模なモデルの効率的なデコード戦略と、特定のモデルと API をデコードするときの一般的な設定を紹介します。

3. 大規模言語モデル適応技術

適応技術の章では、多くの議論と実験分析を追加しました。

コマンドの微調整セクションでは、コマンドの微調整に関する実践的なヒントを追加しました。命令微調整実験パートでは、異なる混合データセットを分析するための LLaMA-13B モデルの命令微調整実験を追加しました。

アライメントの微調整セクションでは、研究者が RLHF を迅速かつ効果的に実装できるように、報酬モデルを方法や強化学習トレーニングを効率的に実行する方法など、RLHF の実践的な戦略の紹介を提供します。建設的な参考資料を提供する研究者を育成します。さらに、既存の非 RL アライメント手法のカバー範囲を大幅に拡大します。手動手法を使用してフィードバックデータを収集する RLHF 手法とは異なり、作業のこの部分では主に報酬モデルと大規模モデルを使用して調整のためのフィードバックデータを自動的に収集し、さまざまな教師付きトレーニング手法を使用して大規模なモデルを微調整します。モデル。

最後に、SFT と RLHF という 2 つのトレーニング方法についても説明しました。

4. 大規模言語モデル利用技術

事前トレーニングまたは適応後、LLM を使用する主な方法の 1 つは、さまざまなタスクを解決するために適切なキュー戦略を設計することです。表 9 を追加して、典型的な LLM 適用方法やICL、CoT、計画の焦点など、既存のプロンプトの代表的な作業をまとめました。

さらに、長期的なタスクを処理するには、長期記憶を使用して計画を立てることが重要な方法です。Reflexion や MemoryBank など、現在計画にメモリメカニズムを使用している新しい作業を追加しました。

5. 大規模言語モデルの機能の評価

大規模モデルの機能評価に関しては、評価方法について説明するサブセクションを追加し、ベースモデル、微調整モデル、プロフェッショナルモデルそれぞれの関連する評価作業を紹介します。既存の評価作業を要約し、ベンチマーク評価、人的評価、モデル評価の 3 種類の評価方法の長所と短所を検討しました。既存の評価作業を表にまとめます。

さらに、新しい大規模言語モデルのリリースに伴い、実証評価の章に LLaMA 2 (Chat) 7B、Claude-2、Vicuna 13B などのいくつかの人気のある大規模言語モデルの評価結果を追加し、追加の評価を追加しました。新しい大規模言語モデルの結果モデルの実験的議論。

6. 概要と位置付け

質の高い長文レビュー記事を作成するには多大な時間の投資が必要であり、それに関与した教師と学生は多くの時間を費やしてきました。このレビュー記事を改善するために最善を尽くしましたが、機能が限られているため、必然的に欠陥やエラーが存在し、まだ改善の余地がたくさんあります。私たちの最終的な目標は、このレビュー記事を大型モデルの「ノウハウ」技術ガイドにして、大型モデルの秘密がもはや神秘的でなくなり、技術的な詳細が隠蔽されないようにすることです。現在のレビューがまだこの目標には程遠いことは承知していますが、今後のバージョンで改善できるよう最善を尽くしたいと考えています。特に、事前トレーニング、指導の微調整、プロンプトエンジニアリングの内部原理、実践的な経験に関するアイデアや提案を読者の皆様から寄せられることを歓迎します。GitHub を通じて PR を送信するか、電子メールで著者に連絡することができます。採用されたすべての技術的な詳細については、論文の謝辞セクションで「実名 + 実際の貢献」を確認します。

レビュー記事は公開以来、幅広いネットユーザーから多数の修正コメントをいただき、感謝の意を表したいと思います。また、大型モデルのレビュー記事も引き続きご支援、ご注目いただければ幸いです、皆様の「いいね！」やフィードバックが今後の大きな原動力となります。

7. 今回の改訂に参加する学生のリスト

学生著者: Zhou Kun (指導微調整実験の課題設定と結果分析を追加、能力評価実験の実験設定と結果分析を追加、指導微調整のための実践スキルの紹介を追加、RLHF の実践戦略の紹介を追加) 、Li Junyi (非 RL アライメント手法の概要を追加)、Tang Tianyi (デコード戦略の概要を追加)、Wang Xiaolei (評価手法の概要を追加)、Hou Yupeng (第 4 章のテキストの詳細を追加、図 5 を更新) )、Min Yingqian (第 4 章を追加) 少数派モデルと関連する紹介の 3 章、表 1、図 2 を更新)、Zhang Beichen (表 10 を追加)、Chen Yushuo (表 8 の実験)、Chen Zhipeng (表 12 の実験)、 Jiang Jinhao (表 12 実験)、Ren Ruiyang (表 12 実験)、Tang Xinyu (表 12 実験)

学生ボランティア: Cheng Xiaoxue (表 12 実験)、Wang Yuhao (表 12 実験)、Zheng Bowen (表 12 実験)

添付ファイル: 更新ログ

バージョン	時間	主なアップデート
V1	2023年3月31日	初期バージョン
V2	2023 年 4 月 9 日	機関情報を追加しました。図 1 と表 1 を改訂し、大規模な言語モデルに対応する選択基準を明確にしました。書き込みが改善されました。いくつかの小さなエラーを修正しました。
V3	2023 年 4 月 11 日	ライブラリリソースに関するバグを修正しました
V4	2023 年 4 月 12 日	図 1 と表 1 を改訂し、一部の大規模言語モデルのリリース日を明確にしました。
V5	2023 年 4 月 16 日	GPTシリーズモデルの技術開発に関する章を追加
V6	2023 年 4 月 24 日	表 1 と図 1 にいくつかの新しいモデルが追加されました。拡張法に関する議論を追加しました。緊急機能のモデル次元に関する説明を追加しました (セクション 2.1)。図 4 に、さまざまなアーキテクチャの注意パターンの図を追加しました。詳細な式を表 4 に追加。
V7	2023 年 4 月 25 日	グラフと表の一部のコピーエラーを修正しました
V8	2023 年 4 月 27 日	セクション 5.3 にパラメータの効率的な適応の章を追加
V9	2023 年 4 月 28 日	セクション 5.3 を改訂
V10	2023 年 5 月 7 日	改訂されたフォーム 1、フォーム 2、および一部の詳細
V11	2023 年 6 月 29 日	第 1 章: arXiv で公開された大規模言語論文の傾向グラフである図 1 を追加; 第 2 章: GPT の進化と対応する議論を示すために図 3 を追加; 第 3 章: LLaMA ファミリとそれに対応する議論を示すために図 4 を追加; 第 5 章: データを合成するためのコマンド調整方法に関する最新の議論をセクション 5.1.1 に追加し、セクション 5.1.4 にコマンド調整に関する実証分析を追加し、セクション 5.3 に効率的なパラメータ適応に関する議論を追加し、セクション 5.4 にスペース効率の高い適応、第 6 章: セクション 6.1.3 に ICL の基礎となるメカニズムに関する最新の議論を追加、セクション 6.3 に複雑なタスクの解決計画に関する議論を追加、第 7 章: 使用される代表的なデータセットの表 10 を追加セクション 7.2 で LLM の高度な機能を評価、セクション 7.3.2 で大規模言語モデルの包括的な機能評価を追加; 第 8 章: プロンプト設計を追加; 第 9 章: 大規模言語モデルに関する情報を追加金融および科学研究における言語モデルの適用についての議論。
V12	2023 年 9 月 11 日	第 3 章: 表 1 の新しいモデルと図 2 の新しいモデル、追加4.2.4; 第 5 章: セクション 5.1.2 に命令の微調整のための実践的なスキルを追加、セクション 5.1.4 に LLaMA-13B 命令の微調整実験分析を追加、およびセクション 5.2.3 に表 8、RLHF の実践的な戦略を追加、セクション 5.2.4 で RLHF を使用しない位置合わせ方法を紹介し、セクション 5.2.5 で SFT と RLHF について説明しました; 第 6 章: 表 9 の概要を追加プロンプトの代表的な作業について、計画部分でのメモリの導入がセクションで更新されました。 6.3; 第 7 章: セクション 7.3.2 に評価方法の説明を追加し、既存の評価作業を要約する表 11 を追加し、表 12 のセクション 7.4 経験能力評価と評価結果を更新しました。

NLP グループに入る -> NLP 交換グループに参加する