ChatGPT (Chat Generative Pre-training Transformer) は、人工知能の一分野である自然言語処理 (NLP) の分野に属する AI モデルです。いわゆる自然言語とは、人間が日常生活で接し、使用している英語、中国語、ドイツ語などを指します。自然言語処理とは、コンピューターが自然言語を理解して正しく操作し、人間が指定したタスクを完了できるようにすることを指します。NLP の一般的なタスクには、テキスト内のキーワード抽出、テキスト分類、機械翻訳などが含まれます。

NLP には非常に難しいタスクもあります。一般にチャットロボットとも呼ばれる対話システムは、まさに ChatGPT が行うものです。

ChatGPT とチューリングテスト

1950 年代にコンピューターが登場して以来、人間が自然言語を理解して処理できるようにコンピューターを支援する方法が研究され始めました。これは NLP 分野の開発目標でもあります。最も有名なものはチューリングテストです。

1950 年、コンピューティングの父であるアランチューリングは、チューリングテストとして知られる、機械が人間のように考えることができるかどうかを確認するテストを導入しました。その具体的なテスト方法は現在のChatGPT方法とまったく同じです。つまり、コンピュータ対話システムを構築し、相手が機械モデルか別のモデルかを区別できない場合、人間とテストされたモデルが相互に会話します。チューリングテストによると、コンピューターはインテリジェントであることがわかります。

チューリングテストは長い間、学界では登るのが難しい頂点であると考えられてきました。このため、NLP は人工知能の頂点にある宝石としても知られています。ChatGPT が実行できる作業は、チャットロボットの範囲をはるかに超えており、ユーザーの指示に従って記事を作成したり、技術的な質問に答えたり、数学の問題を実行したり、外国語の翻訳を実行したり、単語ゲームをしたりすることができます。つまり、ある意味、ChatGPT は最高の宝石を手に入れたのです。

ChatGPTのモデリング形式

ChatGPT の動作形式は非常にシンプルで、ユーザーが ChatGPT に質問すると、モデルがそれに答えます。

このうち、ユーザーの入力とモデルの出力は両方ともテキスト形式です。ユーザーの入力とモデルに対応する出力を一連の対話と呼びます。ChatGPT モデルを次のプロセスに抽象化できます。

また、ChatGPTはユーザからの継続的な質問、つまり複数回の対話にも回答することができ、複数回の対話間には情報の関連付けが存在します。具体的な形式も非常にシンプルで、ユーザーが2回目に入力すると、システムはデフォルトで最初の入力情報と出力情報をつなぎ合わせて、ChatGPTが最後の会話の情報を参照できるようにします。

ユーザーが ChatGPT と対話するラウンドが多すぎる場合、一般的に、モデルは最新の対話ラウンドの情報のみを保持し、以前の対話情報は忘れられます。

ChatGPT がユーザーの質問入力を受け取った後、出力テキストは一度に直接生成されるのではなく、単語ごとに生成されます。この単語ごとの生成はGenerativeと呼ばれます。以下に示すように。

ユーザーが「リンゴとバナナは好きですか?」という質問を入力すると、ChatGPT がデータを受信した後、まず単語「I」を生成し、次にモデルがユーザーの質問と生成された「I」を合成して、次の「こんにちは」という単語を生成し続けます。「私はリンゴが好きです。」という完全な文が生成されるまで続きます。

ChatGPTとNLPの開発の歴史

ChatGPT のモデリング形式については先ほど紹介しましたが、もし ChatGPT モデルの実装を求められた場合、どのようなアイデアや方法があるでしょうか? 実際には、ルールベースNLP と統計ベースのNLP という大きく 2 つの戦略があります。ChatGPT の開始以来、NLP の分野は強化学習、つまり強化学習に基づく NLP の時代に入りました。

ルールベースの NLP

ルールベースの NLP とは、人間が作成したルールを使用して自然言語を処理することを指します。これらのルールは通常、構文、意味論、および語用論の知識に基づいており、自然言語の解析と生成に使用できます。たとえば、次のルールに基づいてダイアログシステムを設計できます。

ルール 1: モデルがユーザーの質問を受け取ると、質問内の単語「?」を削除し、「?」を「.」に置き換えます。

ルール 2: 「あなた」を「私」に、「私」を「あなた」に置き換える

したがって、これらのルールに従って対話モデルを作成し、対話モードを開始できます。

ユーザー: こんにちは。

モデル：こんにちは。

ユーザー: ChatGPT ですか?

モデル: ChatGPT と申します。

ユーザー: ナゲッツコミュニティは好きですか?

モデル: 私はナゲッツのコミュニティが大好きです。

ユーザー: jionlp ソフトウェアツールキットを使用したことがありますか?

モデル: jionlp ソフトウェアツールキットを使用しました。

上記は、ルールベースの対話システムの非常に大まかな例です。読者はそこにある問題点を容易に発見できると思います。ユーザーの質問が複雑すぎる場合はどうすればよいでしょうか? 質問に疑問符がない場合はどうなりますか? 上記の特殊なケースをカバーするために、さまざまなルールを書き続ける必要があります。これは、ルールベースのいくつかの重大な欠点を示しています。

自然言語では、どのルールも要件を完全にカバーできないため、複雑な自然言語タスクを扱う場合には効果的ではありません。
ルールは無限にあり、それを人力で完成させるには膨大な作業が必要になります。
本質的に、自然言語処理のタスクはコンピューターに引き継がれておらず、依然として人間によって支配されています。

これは、NLP 開発の初期の方法であり、ルールに基づいて完全なモデルシステムを構築します。初期には、それは一般に象徴主義と呼ばれていました。

統計ベースの NLP

統計ベースの NLP は、機械学習アルゴリズムを使用して、大規模なコーパスから自然言語の規則的な特徴を学習します。これは、初期にはコネクショニズムとも呼ばれていました。この方法ではルールを手動で記述する必要がなく、ルールは主に言語の統計的特性を学習することによってモデルに暗黙的に組み込まれます。言い換えれば、ルールベースの方法では、ルールは明示的で手動で記述されますが、統計ベースの方法では、ルールは目に見えず、モデルパラメータに暗黙的に含まれ、データに基づいてモデルによってトレーニングされます。

これらのモデルは近年急速に発展しており、ChatGPT もその 1 つです。また、形態構造の異なるさまざまなモデルが存在しますが、基本原理は同じです。主に以下のように扱われます。

データにラベルを付ける => モデルを構築し、入力と出力を決定する => モデルをトレーニングする => トレーニングされたモデルを使用して作業する

ChatGPT では、統計ベースの NLP モデル学習を完了するために、主に事前トレーニング ( Pre-training )テクノロジーが使用されます。NLP 分野の事前トレーニングは、最も初期には ELMO モデル (言語モデルからの埋め込み) によって初めて導入され、その後の ChatGPT やその他のディープニューラルネットワークモデルで広く使用されました。

その焦点は、大規模なオリジナルコーパスに基づいた言語モデルを学習することであり、このモデルは特定のタスクの解決方法を直接学習するのではなく、文法、形態論、語用論から常識、知識などの情報を統合して学習します。言語モデル。直感的に言えば、これは実際的な問題を解決するために知識を適用するというよりも、知識の記憶に似ています。

事前トレーニングには多くの利点があり、ほぼすべての NLP モデルのトレーニングに必要なステップとなっています。これについては後続の章で詳しく説明します。

統計ベースの方法はルールベースの方法よりもはるかに人気がありますが、その最大の欠点はブラックボックスの不確実性です。つまり、ルールは目に見えずパラメータに暗黙的に含まれます。たとえば、ChatGPT でも曖昧で理解できない結果が得られますが、その結果からモデルがなぜそのような答えを出したのかを判断する方法はありません。

強化学習に基づく NLP

ChatGPT モデルは統計に基づいていますが、ヒューマンフィードバックによる強化学習 (RLHF)という新しい手法が使用されており、優れた成果を上げ、NLP の開発を新たな段階に引き上げました。

数年前、Alpha GO は柯潔を破りました。これは、適切な条件下では、強化学習が人間を完全に打ち負かし、完璧の限界に近づくことができることをほぼ示しています。現在はまだ弱い人工知能の時代ですが、それは囲碁の分野に限った話ですが、Alpha GOは強化学習を核とした 強い人工知能です。

いわゆる強化学習は機械学習の手法の 1 つで、エージェント (エージェント、主に NLP のディープニューラルネットワークモデル、つまり ChatGPT モデルを指します) が対話によって最適な意思決定を行う方法を学習できるようにすることを目的としています。環境とともに。

このアプローチは、犬 (エージェント) に笛 (環境) を聞いて食べる (学習目標) ように訓練するようなものです。

飼い主が口笛を吹くと子犬にご褒美として食べ物が与えられますが、飼い主が口笛を吹かないと子犬は餓死するしかありません。繰り返しの食事と飢餓により、子犬は対応する条件反射を確立することができます。これは実際には強化学習です。

NLP の分野では、環境はさらに複雑です。NLP モデルの環境は、実際の人間の言語環境ではなく、人工的に構築された言語環境モデルです。したがって、ここでは人間のフィードバックによる強化学習に重点を置きます。

統計的手法では、モデルが最大限の自由度でトレーニングデータセットに適合することができますが、強化学習ではモデルにより多くの自由度が与えられるため、モデルは独立して学習し、確立されたデータセットの制限を突破できます。ChatGPT モデルは統計学習手法と強化学習手法を融合したもので、そのモデルのトレーニングプロセスを次の図に示します。

トレーニングプロセスのこの部分については、セクション 8 ～ 11 で説明します。

NLP技術の開発

実際、ルール、統計、強化学習に基づく 3 つの手法は、単なる自然言語処理の手段で は なく、一種の思考です。特定の問題を解決するためのアルゴリズムモデルは、多くの場合、これら 3 つのソリューションの融合の産物です。

コンピューターを子供に例えると、自然言語処理は人間が子供の成長を教育するようなものです。

ルールベースのアプローチは、親が子供を 100% コントロールするようなもので、毎日数時間の勉強時間を設定し、すべての問題を子供に教えるなど、子供に自分の指示とルールに従って行動するよう要求します。このプロセス全体を通じて、実践的な指導に重点が置かれ、主導権と焦点は保護者にあります。NLP の場合、プロセス全体の主導権と焦点は、言語ルールを作成するプログラマーと研究者にあります。

統計に基づいた方法は、親が子供たちに個別の質問を教えるのではなく、学習方法だけを教えるようなもので、半ば指導に重点を置いています。NLP の場合、学習の焦点はニューラルネットワークモデルにありますが、主導権は依然としてアルゴリズムエンジニアによって制御されます。

集中学習という手法では、親が子どもの教育目標だけを設定するようなもので、例えばテストで90点を取ることを要求されるが、子どもの学習状況は気にせず、すべて完了させます。自学自習であり、子供は非常に高い自由度、度合いと自発性を持っています。親は最終結果に対して相応の賞罰を与えるだけであり、教育プロセス全体には参加しません。NLP の場合、プロセス全体の重心と主導権はモデル自体にあります。

NLPの開発は徐々に統計ベースの手法に近づき、最終的には強化学習に基づく手法が完全勝利を収めました、その勝利の象徴が ChatGPT の登場であり、ルールベースの手法は徐々に衰退してきましたが、補助的な方法となっている処理手段。ChatGPT モデルの開発は、最初から、モデルが自ら学習できるようにする方向に、揺るぎなく開発、進歩してきました。

ChatGPTのニューラルネットワーク構造 Transformer

前回の紹介では、読者の理解を容易にするために、ChatGPT モデルの具体的な内部構造については言及しませんでした。

ChatGPT は大規模なニューラルネットワークであり、その内部構造はニューラルネットワーク構造である Transformer の複数の層で構成されています。2018 年以降、NLP 分野で一般的な標準モデル構造となり、ほぼすべての種類の NLP モデルに Transformer が含まれています。

ChatGPT が家だとすると、Transformer は ChatGPT を構築するためのレンガです。

Transformer の中核はセルフアテンションメカニズム(Self-Attendance) であり、入力テキストシーケンスを処理する際に、モデルが現在の位置文字に関連する他の位置文字に自動的に焦点を当てるのに役立ちます。セルフアテンションメカニズムは、入力シーケンス内の各位置をベクトルとして表すことができ、これらのベクトルを同時に計算に参加させることができるため、効率的な並列計算が実現します。例として:

機械翻訳において、「私は良い学生です」という英語の文を中国語に翻訳する場合、従来の機械翻訳モデルはそれを「私は良い学生です」と翻訳する可能性がありますが、この翻訳結果は十分に正確ではない可能性があります。英語の冠詞「a」を中国語に翻訳する場合は、文脈と合わせて判断する必要があります。

Transformer モデルを翻訳に使用すると、「私は良い学生です」など、より正確な翻訳結果を得ることができます。

これは、Transformer が英語の文章内の長距離にわたる単語間の関係をより適切に捕捉し、テキストの文脈の長い依存性を解決できるためです。セルフアテンションの仕組みについては 5-6 節で、Transformer の詳細な構造については 6-7 節で紹介します。

要約する

NLP 分野の発展は、ルールや論理制御コンピュータープログラムを人為的に記述することから、言語環境に適応するためにネットワークモデルを完全に引き継ぐことに徐々に変化してきました。
ChatGPT は現在、チューリングテストに合格するのに最も近い NLP モデルであり、将来的には GPT4 と GPT5 がそれに近づくでしょう。
ChatGPT のワークフローは生成対話システムです。
ChatGPT のトレーニングプロセスには、言語モデルの事前トレーニングと人間のフィードバックによる RLHF の強化学習が含まれます。
ChatGPTのモデル構造はセルフアテンション機構を核としたTransformerを採用しています。

次の章では、これらの内容を一つずつ説明していきます。

誰でもわかるChatGPT基礎講座：ChatGPTと自然言語処理

ChatGPT とチューリングテスト

ChatGPTのモデリング形式