ChatGPT の真実: 強力な一般化の秘密と多くの重要な問題

この記事は、ChatGPT によってもたらされる即時学習機能 (コンテキスト内学習) から始まり、次のような ChatGPT の多くの重要な問題について徐々に説明します。

• 1. ChatGPT は、これまでに見たことのないレベルのコンピューティング、つまり仮想人間をもたらします

  2. ChatGPT がもたらす新しいインテリジェント コンピューティング フレームワーク: マトリックスとバーチャル ヒューマン

  3. 人間のコーパス知識が枯渇したときに、新しいインテリジェント アーキテクチャがどのように成長し、新しいスキルを吸収するか

  4. 強力な汎化機能の説明、および大規模なモデル機能が出現する考えられる理由

  5. 無表情なナンセンスな問題の原因と長期的および短期的な解決策

  6. ChatGPT は、法律分野などの垂直分野にどのように絞り込まれますか。

この記事は、発表された大規模モデル論文の技術的な要約でもレビュー記事でもありませんが、著者自身の調査と分析に基づいて上記の質問に対する答えを探ることを目的としています。翡翠の誘致に一役買いたいと考えています。この記事の執筆期間は比較的長く、OpenAI がプラグイン機能を開始する前にほとんどの執筆が完了しているため、技術的な内容のごく一部が遅れているようです。

1 ChatGPT によってもたらされる新しいテクノロジー:

瞬時の学習能力

OpenAI の GPT-3 が登場する前、以前の深層学習モデルは、翻訳、分類、要約、情報抽出などの特定のタスクのためにのみ開発されました。各タスクには専用のモデルがあり、モデルをトレーニングするには人間のマーカーがこのタスク専用の大量のラベル付きデータを生成する必要があります。OpenAI は、自己教師ありのアプローチを使用して、人間によるデータのラベル付けを一切行わずに、超大規模モデル GPT-3 をトレーニングします。これは 50TB の巨大なテキスト コーパスを使用しており、そのほとんどはインターネットからのものです。そして、それが行う唯一のトレーニングタスクは、テキスト内で以前に見た単語に基づいて、次の単語が何であるかを常に予測することです。

この 1,750 億のパラメータ モデルは完全にトレーニングされています