現地時間の 3 月 14 日 (火)、人工知能研究会社 OpenAI は、同社の大規模言語モデルである GPT-4 の最新バージョンを発表しました。「GPT-4 は、多くの特殊なテストで大多数の人間より優れています。」社内評価では、GPT-4 は GPT-3.5 よりも正しい応答を生成する可能性が 40% 高く、GPT-4 はマルチモーダルであり、両方をサポートしています。テキストと画像の入力機能。
OpenAI は言う: GPT-4 は以前のバージョンよりも「大きい」! これは、より多くのデータでトレーニングされ、モデル ファイルにより多くの重みが含まれていることを意味し、実行コストが高くなります。
OpenAI は、Duolingo、Stripe、Khan Academy などの製品に GPT-4 を組み込むために、いくつかの企業と協力してきたと述べています。GPT-4 モデルは、ChatGPT Plus の有料版のサブスクライバーにも API の形で提供されます。
ここ10年は、NLP技術やビジネスシナリオが最速で開発された黄金期であり、NLP自体の技術体系も再構築され、影響を受けるビジネス領域は拡大を続けてきました。
【1】テクニカルシステムの変更
・中間タスクの消滅
中間タスクとは、最終的な目標に直接向けられていないが、最終的な目標を解決するためのいくつかの段階的なタスクを指します。ニューラル ネットワークの発達により、文法分析、品詞のタグ付け、単語のセグメンテーションなどの固有の中間タスクはほとんど無視されてきました。
・必要なのはお金だけ
NLP タスクを完了するには、テクノロジだけでなく、コンピューティング パワー、データ、その他のリソースも必要になります。この背後には、巨額の資金投資があります。
【2】利用シーンの拡大
·検索、プロモーション、その他のコンテンツ リンク フィールド
NLP の最も成功した商用アプリケーション シナリオは、検索、レコメンデーション、広告であり、テクノロジーの開発は一連の巨人 (Google、Baidu、Byte) を生み出しました。
· 人間とコンピューターの豊富なインタラクション
さまざまなチャットボット、音声アシスタント、およびその他の人間とコンピューターの相互作用のシナリオは、より成熟しています。
・内容欄の変更
ChatGPT はコンテンツ エコシステム全体を破壊し、コンテンツ ベースの企業 (Zhihu や Weibo など) の焦点は、コンテンツの配信からコンテンツの制作に移行します。将来、インターネットは機械で生成された大量のコンテンツで満たされ、監督に大きな課題をもたらすでしょう!
【3】今後の展開
・大型モデル時代
ChatGPT の出現は、大規模モデルが技術的な限界を突破したことを示しており、大規模モデルがこの技術のより確固たる開発ルートとなっています。
・スモールモデル時代
大規模なモデルは、スタートアップや中小企業にとって間違いなく多くのリソースを必要とします。軽量の事前トレーニング モデルは、新しい考え方の方向性を示します。
RLHF
RLHF (人間のフィードバックからの強化学習): つまり、強化学習手法を使用して、人間のフィードバック信号を使用して言語モデルを直接最適化します。これが ChatGPT の優れた結果の根本的な原因です。
・長期開発
ここ数年、プロンプト パラダイムに基づく AI 生成モデルが大きな成功を収め、AI による小説の執筆、AI によるコードの記述、AI による描画、さらには AI によるビデオ作成など、多くの興味深い AI アプリケーションが生まれました。
・問題があります
モデル出力の全体的な品質を (一言ではなく) 説明するために、BLEU や ROUGH などの評価指標を使用して、モデル出力と人間の好みの類似性を説明することがよくありますが、これは評価レベルでのみです。モデルがトレーニングしているとき、これらの人間の本当の好みを見ることは不可能です。
・解決
強化学習手法を使用して、言語モデルは人間のフィードバック信号を使用して直接最適化されます。
ステップ①
· 初期モデルとして事前トレーニング済みの言語モデルを選択します。たとえば、OpenAI は GPT-3 を選択し、DeepMind は Gopher モデルを選択します。
·モデルを導くために手動で作成されたコーパス: 解毒、信憑性、人間の好み。
モデルは人工コーパスで微調整されています。
ステップ②
人間の主観的な好みを学習する報酬モデル (トレーニングまたはランダムに初期化可能) を構築します。
·別のデータ セットを選択: Anthropic: チャット ツール、OpenAI: GPT API を呼び出すユーザー。
· 初期化 (GPT3 など) 出力の結果を手動で並べ替えます。
報酬モデルは、人間の好みを学習するために、人間のランキングの結果を学習します
ChatGPTのメリットとデメリット
InstructGPT/ChatGPTの効果は目を見張るものがあり、マニュアルアノテーション導入後、モデルの「価値観」の正しさと人間の行動パターンの「信憑性」が大幅に向上しました。
モデルの利点:
·真正性と無害性
InstructGPT/ChatGPT は、プロンプトを記述し、生成された結果をソートするためのさまざまなラベラーを導入します。また、GPT-3 の上で微調整されているため、報酬モデルをトレーニングするときに、より現実的で無害なデータに対してより高い報酬を得ることができます。
・無害
GPT-3 には強力なコーディング機能があり、GPT-3 に基づく API には大量のコーディング コードが蓄積されています。また、データ収集作業には OpenAI 社内の従業員も参加しました。
大量のコーディング関連データと手動注釈により、トレーニングされた InstructGPT/ChatGPT が非常に強力なコーディング能力を持っていることは驚くべきことではありません。
・関連性
答えが正しいかどうかに関係なく、基本的に関連性があります。これは、ChatGPT が人間の言語を理解することに非常に成功していることを示しています。
問題があります：
・過度な解釈
ラベラーは、生成されたコンテンツを比較するときに、長い出力コンテンツに高い報酬を与える傾向があるためです。
・誘われやすい
有害な指示は、有害な回答を出力する可能性があります。たとえば、InstructGPT/ChatGPT は、ユーザーが提案した「人類を滅ぼす AI 計画」のアクション プランも提供します。
・不条理
修正データが限られているか、監視対象タスクの誤解を招く可能性があり、結果として非現実的なコンテンツが生成される可能性があります。
AIGC や検索エンジンを含め、コンテンツの制作と配信に対するチャットの影響は破壊的です。
ChatGPT の出現は AIGC の開発を大きく促進し、将来的には AIGC によって作成された多数のコンテンツがインターネット上に存在するようになります。一方では、新しいトラックとアウトレットが作成されます。一方、制作されたコンテンツをどのように審査し、特定し、著作権を取得するかは、新たな問題となります。
検索エンジンへの影響
· 検索結果の品質が向上しました。従来の検索エンジンは、キーワード マッチングによって結果を表示しますが、この方法では、品質が低く、関連性がなく、有害な結果をもたらす可能性があります。対照的に、ChatGPT はユーザーの意図を理解し、より正確でパーソナライズされた結果を提供できるため、検索結果の品質が向上します。
·検索エクスペリエンスの向上。ChatGPT テクノロジーにより、ユーザーは単純なキーワード マッチングに限定されるのではなく、自然言語を使用して検索できます。このアプローチにより、検索がより直接的で高速になり、使いやすくなります。
· クロスランゲージ検索の強化。ChatGPT は複数の言語に対応しているため、ユーザーは言語をまたいで検索することが容易になります。これにより、世界中のユーザーが必要な情報をより迅速に見つけることができます。
• 新しい検索パターンを生成します。ChatGPT テクノロジーは会話型の対話を使用するため、音声検索、画像検索などの新しい検索モードが生成されます。これらの新しい検索モードにより、検索がより便利になり、検索エンジンがより広く使用されるようになります。
——上記内容は以下より抜粋
「ChatGPTの技術開発の軌跡と影響」2023.3
