大規模言語モデルLLMから汎用人工知能AGIへの改善の方向性（公開）

大規模言語モデルから汎用人工知能 AGI まで

1. はじめに

このブログは主に、「汎用人工知能の火花: GPT-4 による初期の実験」のセクション 9 と 10、および現在の LLM と AGI についての私自身の理解に基づいています。大規模な言語モデルが AGI に移行するときに改善の方向性を示します。

2.14 問題点と改善の方向性（動的継続更新）

1. 縮小モデル

モデル削減の目標は、可能な限り最小のモデルを使用して、可能な限り最高のパフォーマンスを達成することです。大規模言語モデルの現在のモデルサイズは 10B ～ 500B です。AGI は将来必ず普及するため、縮小モデルは重要な研究方向です。

原因となる問題:

モデルのトレーニングと使用コストが高い ChatGPT のような優れたパフォーマンスを持つ大規模なモデルは、毎回トレーニングに数千万ドルが必要です使用時には、モデルの入力と出力が大規模なモデル全体を一度通過する必要があります、莫大な使用コストが発生します。
モデルを個人に一般化するのは困難です。世界初のコンピューターと同様に、その後パーソナルコンピューターが普及しなければ、これまでコンピューターは大規模な科学研究や軍事目的でのみ使用されてきたと考えられています。モデルのサイズが大きいため、大型モデルの研究は主に業界と少数のトップ科学研究機関で行われており、研究作業の実施が困難になるだけでなく、モデルの研究が困難になるという事実が生じています。民間人にも拡大中。これは間接的に、後者のモデルの開発を個別化することの困難にもつながりました。

改善のための具体的な方向性:

特定のモデルから始めて、より優れたニューラルネットワーク構造、損失関数、オプティマイザー、およびワードベクトルエンコーディングを採用します。LLaMAなど、この分野で一定の成果をあげている作品はすでに少数ながら存在します。
ツールと組み合わせます。一部の特定のシナリオでは、数学的計算など、大規模なモデルの拡張が依然として困難です。どんなに強力な大規模言語モデルであっても、電卓のような数学的演算能力を持つことは困難です。したがって、モデルのサイズを縮小せずにパフォーマンスを維持しようと常に努力するのではなく、一部のモデルの低結合機能を他のツールに分散する方法、およびツールを大規模なモデルと統合する方法を検討する方が良いでしょう。ツールと組み合わせたこの方向性の詳細な開発については、ポイント 11 を参照してください。

2. パーソナライゼーション

パーソナライゼーションとは、モデルがユーザーごとにパーソナライズされたサービスを提供することを意味します。AGI は将来必ず普及するため、モデルをどのようにパーソナライズするかが重要な研究方向です。

原因となる問題:

多くのシナリオでは、モデルは個人または組織にパーソナライズされたサービスを提供する必要があります。たとえば、教育シナリオでは、モデルが生徒の学習の進歩を理解してそれに適応し、さまざまな段階で生徒に学習支援を提供することが期待されます。同時に、モデルは生徒ごとに異なる指導方法を提供する必要があります。別の例として、日常のチャットシーンでは、子供と大人のモデルの出力が異なる場合があります。子供の場合、モデルは未成年者にふさわしくないコンテンツを出力すべきではありません。同時に、チャット中に子供たちを正しく誘導することに注意を払う必要があります。

改善のための具体的な方向性:

メタディレクティブ。これは、「Sparks of Artificial General Intelligence: Early Experiments with GPT-4」で紹介されている方法です。そのアイデアは、現在のユーザーが誰であるか、彼が以前に彼に何を言ったか、そして毎回コマンド入力の方法を通じてどのような出力が彼に適しているかをモデルに知らせることです。この方法には大きな制限があり、十分な効果はありませんが、確かに最も単純な考え方であり、これが現在普及している AutoGPT の機能であり、確かにある程度のパーソナライゼーション機能を実現できます。

3. 長期記憶

長期記憶とは、大規模なモデルが新しい認識を形成するために長いテキストの内容を記憶する必要がある、または人間と同様のエピソード記憶を備えている必要があることを意味します。これは大型モデルの非常に大きな欠点であり、AGIを実現するために解決しなければならない問題でもあります。

原因となる問題:

長期記憶を必要とするシーンには対応できないモデルです。たとえば、大きなモデルを使用して本を読む場合、モデルが第 2 章の内容を読むと、第 1 章の内容を忘れてしまう可能性があります。GPT-4 が 1 つの入力に対してサポートするトークンの最大数は 25,000 に増加しましたが、それでも本を読むのは非常に困難です。別の例として、現在、ロボットとChatGPTを組み合わせた研究が進められていますが、現時点ではロボットは人間のような出来事記憶を持たず、いつ誰と会って何が起こったのかを記憶できないという大きな問題を抱えています。

改善のための具体的な方向性:

データベースまたはナレッジマップ関連テクノロジと組み合わせます。現在、AutoGPT はこの方法を採用しており、ある程度の長期記憶機能を備えています。
長期記憶モデル M を構築し、データベース技術と組み合わせます。同様のアイデア現在、清華大学も ChatDB と同様の取り組みを行っています。

4. 信頼度の校正

信頼度の調整とは、モデルがイベントが真か偽かを判断する必要性を指します。現在、LLM は虚偽の事実を出力することが多く、例えば、LLM に李白の詩を書いてもらうと、出力されるのは詩ですが、それは李白ではなく自分で作ったものになります。あなたは彼に XX 分野に関する参考文献を教えてほしいと頼み、その出力はまともなものでしたが、本当にそれを探すために Google Scholar に行きましたが、対応する文献が見つからないことがわかりました。

原因となる問題:

LLM は善悪の区別ができず、主に訓練セットに基づいて認識しており、何が真実で何が偽であるかを自分自身で考えて判断することはありません。実際に使用する過程では、忠実な回答を出力することはできません。

改善のための具体的な方向性:

なし

5. 継続的な学習

継続的な学習とは、周囲の環境に基づいてモデル自体を更新する必要性を指します。モデルは一度トレーニングされた後、継続的に学習できる必要があります。

原因となる問題:

現行モデルはアップデートできません。具体的には、2 つの状況があります。1 つ目は、モデルがトレーニングされるときに、コンピューティングリソースが更新されたと仮定して、現在はより大きなモデルが必要です。現時点で、LLM が直面している現在の状況は、より多くのパラメータを持つモデルで完全に再トレーニングすることです。第 2 に、モデルが使用されている場合、現在のより良い方法は微調整に RLHF メソッドを使用することです。モデルを確実に更新できるある程度の更新は可能ですが、この方法はリアルタイムではなく、更新効率が低く、モデル全体の調整が必要です。

改善のための具体的な方向性:

なし

6. 計画と目標

計画と目標は、モデルに計画と目標を策定する機能が必要であることを意味します。

原因となる問題:

モデルが対処する必要がある問題が複雑な場合、モデルは問題を単純化し効果的に問題を解決するための計画や目標を策定できません。たとえば、人が華山への旅行というタスクを完了するとき、この目標を分解して順番に完了する必要があります。例えば、所持金を確認し、移動手段を調べ、ホテルを予約し、登山用品を購入し、行動ルートを計画し、結局車で帰宅。その中の各リンクは複数のステップに分割される場合があります。たとえば、ホテルを予約するときは、価格と場所を考慮し、予約できる部屋の数を考慮する必要があります。このような複雑な目標を達成するには、適切な計画と一連の目標が必要です。
一方で、モデル自体の改善目標を指定できないため、能動的に学習することができず、オフラインではモデルのパフォーマンスを向上させることができません。

改善のための具体的な方向性:

命令プロンプト + 短期記憶: 現在、AutoGPT も同様の方法で実現しており、プロンプト方式でタスクを継続的にプロンプトと分解し、最終的に複数のサブ目標を指定して段階的に達成します。この方法では、モデルの計画能力と目標能力をある程度達成できます。

7. データセットの収集と生成

データセットの収集と生成は、モデルが適切なデータセットの収集と生成方法と連携する必要があることを意味します。

原因となる問題:

モデルの性能は高くありません。最近、LLaMA などの大規模なモデルの論文では、小規模モデルや大規模モデルであっても、データセットを拡張することでパフォーマンスをさらに向上できることが示されています。逆に言えば、適切な方法でデータを収集または生成し、それをさらに使用してモデルをトレーニングすると、大規模なモデルのパフォーマンスを効果的に向上させることができます。

改善のための具体的な方向性:

データセットの収集については、オンラインで独立してデータを収集するモデルの機能に焦点を当てることができます。最後に、モデルがネットワーク上で自律的にデータを収集し、それをトレーニングに使用してパフォーマンスを向上させます。
データセットの生成では、WizardLM モデルや Wizardcode など、既存の LLM モデルを使用してデータセットを生成し、パフォーマンスの向上に役立てることができます。次の図は、LLM を使用して Code フィールドのデータを生成する Wizardcode の例を示しています。さらに、モデルにデータを自動的に生成させ、生成されたデータを使用してモデルをトレーニングし、継続的に反復的にパフォーマンスを向上させる方法を検討できます。最近 Facebook は、コンピュータービジョンの分野における画像セグメンテーションに関する論文を発表しました。データエンジンと呼ばれるデータ生成方法について言及しています。これは、データ生成とモデルのトレーニングを閉ループにし、「すべてを分割する」という驚くべき結果を達成します。

ここに画像の説明を挿入

8. 感情的な能力

感情的能力とは、パフォーマンスを向上させるためにモデルが感情的能力を向上させる必要があることを意味します。

原因となる問題:

通常のモデルのパフォーマンスに影響を与えるだけでなく、感情を必要とする一部のシーンに適用できなくなります。例えば、誰かと雑談しているとき、相手が失恋した人だった場合。感情的な答えは、単純な理屈や慰めよりも優れているはずです。将来のペットロボットやロボット執事も重要な研究方向であり、これらのシナリオでは明らかにLLMが感情的能力を開発する必要があります。

改善のための具体的な方向性:

なし

9. 強化されたマルチモダリティ

強化されたマルチモダリティとは、LLM モデルがテキスト、画像、音声などを同時に処理することを考慮していることを意味します。

原因となる問題:

既存のモデルは主にテキストを処理しますが、同時に画像を処理できるモデルもいくつかあります (GPT-4)。そのため、大きな機種では曲の良し悪しを判断できないなど、音声データの処理が不十分です。

改善のための具体的な方向性:

さまざまなモデルがさまざまなマルチモダリティに合わせてトレーニングされ、統合されます。

10. 既存のソフトウェアツールとの統合

WeChat、タオバオ、美団、QQ ミュージック、12306 など

11. 既存のハードウェアツールと組み合わせる

ロボットアーム、バイオニック人間の皮膚、赤外線、NFC。

12. 自己認識と世界認識

自己認識がなければ信頼度の調整はできません。どのように世界認識が偏見を排除しないのか。

原因となる問題:

現時点では、LLM と AGI の間の最大のギャップは依然として自己認識と世界認識です。

改善のための具体的な方向性:

なし

13. AGI テストの問題

現在では、司法資格試験やGREなどの試験を利用する方法が一般的となっています。

14. AGIの安全上の問題と法的問題

現時点ではスキップしてください。読者は「AGI とその先の計画」を参照してください。