ChatGpt開発の歴史

• ChatGPT（英語正式名称：Chat Generative Pre-trained Transformer、Chat Generative Pre-trained Transformer）は、人工知能研究機関OpenAI（Open Artificial Intelligence Research Center）が2022年に公開したチャットロボットモデルです。
• ChatGPT は GPT-3.5 シリーズに基づいており、強化学習アルゴリズムを使用してトレーニングされます。会話形式でユーザーと対話し、インターネットから収集したテキストの膨大なデータベースから言語の統計パターンを模倣することによって応答を生成します。2023 年 1 月末時点で、ChatGPT の月間アクティブ ユーザー数は 1 億人であり、これまでで最も急速に成長している消費者向けアプリケーションとなっています。
• 2023 年 2 月 7 日、Microsoft は、ChatGPT をサポートするテクノロジーが Bing 検索エンジンと Edge ブラウザーの最新バージョンに統合されたと発表しました。3 月、OpenAI は、ChatGPT にツールの使用、ネットワーク化、計算の実行を可能にするプラグイン機能のリリースを発表しました。

  

 「開発の歴史」

• OpenAI は、サム アルトマン氏らによって 2015 年にサンフランシスコで設立され、人工知能と自然言語ツールの開発に取り組んでおり、2019 年にはマイクロソフトから 10 億ドルの投資を受けました。2020 年 6 月、OpenAI は最初の NLP 言語モデルである GPT-3 (Generative Pre-Trained Transformer 3) を発表し、そのモデルを外部使用向けの API (Application Programming Interface) の形式で Web サイト上で提供しました。[13] 同年、OpenAIはファインチューニング版GPT-3.5を発売し、2022年1月にはGPT-3.5のプレファインチューニング版InstructGPTが発売されたが、一般には公開されなかった。[14]
• 2022 年 11 月 30 日、OpenAI は、同様の製品よりもはるかにインテリジェントな GPT-3.5 ベースのチャット ロボット モデルである ChatGPT をリリースしました。ChatGPT は、公開からわずか 5 日で 100 万人以上のユーザーを獲得しました。[2][6][15]
• 2023 年 1 月末時点で、ChatGPT の月間アクティブ ユーザー数は 1 億人であり、これまでで最も急速に成長している消費者向けアプリケーションとなっています。[9][10] そして 2 月初旬、ChatGPT 公式 Web サイトは、容量がいっぱいになったため、一時的にすべてのユーザーにアクセス サービスを提供できなくなったと発表しました。[16] 2023 年 2 月 7 日、Microsoft は ChatGPT テクノロジーを Bing 検索エンジンと Edge ブラウザーの最新バージョンに統合すると発表しました。[11]
• 2023 年 3 月、Nvidia はまったく新しい GPU 推論プラットフォームを発表し、ChatGPT に 10 倍の高速化パフォーマンスを提供しました。[17] 3 月 14 日、OpenAI は GPT-4 モデルをリリースし、それを ChatGPT Plus 高度なサービスに統合しました。[18] プレミアム サービスのユーザーは、応答時間の短縮、新機能への優先アクセス、ピーク時間中のアクセスを享受できます。[19] 月額 20 ドルの ChatGPT Plus サービスを利用すると、ユーザーは GPT-4 ベースのバージョンの ChatGPT を体験できます。[20]
• さらに、OpenAI は 2023 年 3 月にソフトウェア開発者向けに ChatGPT および Whisper モデル API も提供し、開発者が AI 言語処理および音声認識機能をアプリケーションに追加できるようにしました。[21] ChatGPT API の価格は 1000 トークン (約 750 ワード) あたり 0.002 ドルで、GPT-3 モデルより 10 倍安価です。[22]
• セキュリティ面では、2023年3月に脆弱性により一部のユーザーに他のユーザーの会話のタイトルが表示される問題があったが、OpenAIのCEOであるサム・アルトマン氏は、ユーザーは会話の内容を見ることができなかったと述べた。[23][24] この問題が解決された後、ユーザーは会話履歴を表示できなくなりました。[25] その後の報告により、この侵害は当初考えられていたよりもはるかに深刻であり、その結果、ユーザーの名前、電子メール アドレス、支払い住所、クレジット カード番号の下 4 桁、およびクレジット カードの有効期限などの情報が漏洩したことが明らかになりました。クレジットカード。[26][27]
• 2023 年 5 月、人工知能開発組織である OpenAI は、米国で iPhone 用の無料 ChatGPT アプリをリリースしました。これには、Whisper AI 音声認識モデルによる音声入力サポートが含まれており、アプリはチャット記録を Web バージョンと同期することもできます。 AIアシスタントの。ChatGPT が公式モバイル クライアント アプリケーションを開始するのはこれが初めてです。

「実現の原則」

• ChatGPT は、InstructGPT の兄弟バージョンです [29]。その前モデル GPT-3 と比較して、ChatGPT は、モデルの出力をユーザーの質問の意図によりよく近づけるために、トレーニング プロセスにヒューマン フィードバック (RLHF) に基づく強化学習を組み込んでいます [29] ]。ヒューマンフィードバック強化学習は、ChatGPT や InstructGPT にとって、人間の意図との整合性を実現する、つまり人間の指示に従ってできるだけ悪影響のない結果を生成するための重要な技術です [30]。
• GPT-3 は OpenAI によって開発された数学モデルであり、ChatGPT の開発の基礎でもあります [31]。トレーニングにより、このモデルは文内の前の単語から次の単語を予測できます。ただし、GPT-3 は、モデル効果を高めるために GPT-1 および GPT-2 よりもはるかに大量のトレーニング データとモデル パラメーターを使用します。GPT-3 には 96 層のトランスフォーマー デコーダー層があり、各層には 96 個の 128 次元があります。注目のヘッド。単語埋め込みの次元は 12288 に達し、使用されたデータセットのサイズは 45TB に達しました。[30] トレーニング後、GPT-3 はトレーニング結果に従って指定された単語を自動的に埋めたり、最も高い確率で出力用の単語を選択したり、出力用に次の単語をサンプリングしたりできます。GPT-3 に質問すると、質問語に応じて最も可能性の高い次の単語を選択し、それを入力結果に追加し、回答が生成されるまで繰り返し実行できます。[30]
• GPT-3 は質問に対してもっともらしい回答しか作成できず、質問の意味を理解してユーザーの質問に対するユーザーのニーズを満たす回答を生成することはできず、場合によっては役に立たない、または間違った出力を生成します [31]。InstructGPT と GPT-3.5 をトレーニングするとき、この問題を解決するために、OpenAI は一定数の質問と回答のペアを手動で作成することを選択し、ラベル作成者は自分自身で質問と回答を作成し、同時に外部の質問に手動で回答します。より良い答えを生成するために元の GPT-3 をトレーニングします。しかし、手動で作成するコストが高いため、OpenAI はモデルに一度に複数の回答を生成させることを選択し、人間が有用性に応じて回答をランク付けしました。合計 33,000 を超える質問とその回答が使用され、一定の報酬が得られました。仕組みを設定 新しい報酬モデルは質問と回答の組み合わせごとにスコアリングします 人間は回答の作成には関与せず、ランキングにのみ参加します 同時に 31,000 件を超える外部ユーザーの質問が収集され、報酬モデルがスコアリングに使用されます、そしてモデルはさらに監視され、微調整され、反復、つまり「ヒューマンフィードバック強化学習」が繰り返されます。[32]
• ChatGPTは、GPT-3.5をヒューマンフィードバック強化学習トレーニングを経たものを微調整し、InstructGPTトレーニングをベースに対話形式でさらに集中的なトレーニングを実施し、最終的にInstructGPTよりも強力なモデルを取得します。[29]
• GPT-4では入力形式がさらに改良され、テキストに限らず、画像や表など様々な形式のコンテンツを入力でき、出力ではグラフィックプログラミングやグラフィックライティングなどのアプリケーションも実現できます。 。テキストと画像の間の比較学習を通じて、テキストと画像の間に特別なマッピング関係が確立されます。同時に長文入力にも対応しており、文字量はChatGPTの8倍となっています。[33] ChatGPT 4 は、前世代の ChatGPT 3.5 が合格できなかった、公認会計士 (CPA)、公認管理会計士 (CMA)、公認内部監査人 (CIA)、税理士などの 4 つの主要な会計業界資格試験を完了し、合格しました。会計士 (EA)、平均スコアは 85.1。

「機能と状態」

• ChatGPT の機能は、質問と回答の方法を使用する比較的単純です。ユーザーが質問すると、ChatGPT が答えを返します。[7] ChatGPT の学習能力は以前の人工知能製品よりも強力で、人間が提起するさまざまな難しく複雑な質問に答えることができます。[1] ChatGPTはアメリカの大学のSATに参加し、中級レベルの成績を収めており、「フレンズ」の主人公の口調を利用して対話台本を作成し、経済格差を解消するための6項目の計画を提示した[1] 彼はイスラエル大統領アイザック・ヘルツォークのために演説の一部を執筆したことさえある。[35]
• OpenAI は、ChatGPT の制限は主に次の側面に反映されていると主張しています。
• ChatGPT は、もっともらしく聞こえる応答を書き込むことがありますが、不正確または無意味です。この問題の解決は、次の理由から依然として困難です: 強化学習のトレーニング中に、現時点では正しい情報のソースが不足していること、モデルをより慎重にトレーニングするために、正しく答えられるはずの質問への答えを拒否すること、教師ありトレーニングがモデルを誤解させることモデルが理想的であるため、答えは人間が知っていることではなく、モデルが知っていることに依存します。[29]
• ChatGPT は、入力文言の微調整や同じ質問の複数回の試行に非常に敏感です。たとえば、ある文言で質問が与えられた場合、モデルは答えがわからないと主張するかもしれませんが、文言を少し変更すると、モデルは正しく答えることができます。[29]
• このモデルは特定のフレーズを多用しすぎることが多く、OpenAI によってトレーニングされた言語モデルであることを繰り返し繰り返すなど、冗長な文章になります。これらの問題は、トレーニング データのバイアス (トレーナーは長い回答の方がより網羅的であると考えます) と過剰な最適化の問題に起因します。[29]
• 理想的には、ユーザーがあいまいなクエリを提供した場合、モデルはユーザーに質問を明確にするよう求めます。しかし、既存のモデルではユーザーの意図を推測してしまうことがよくあります。[29]
• OpenAI はモデルが不適切なリクエストを拒否することを期待していますが、有害な指示に応答したり、バイアスを示したりする場合があります。OpenAI はモデレーション API を使用して、特定の種類の安全でないコンテンツを警告またはブロックしますが、それでも一部の誤検知や誤検知が発生します。[29]
• 報道によると、2023年2月現在、ChatGPTは高度なロジック処理を行うことが難しく、「より正確に、より速く」という基本的なデータの分類やコンテンツの統合は完了したものの、総合的な判断や修正・調整、ロジックを提供することができていないという。改善のペンです。適時性の点では、ChatGPT 言語モデルのトレーニングに使用されるデータは 2021 年 9 月以前のデータであるため、最新のデータやイベントの一部に遅れが生じる可能性があり、それによって ChatGPT の内容の正確性や知識の点で問題が発生する可能性もあります。ショートボードでなければなりません。[36] OpenAI が 2023 年 3 月にプラグイン機能を開始した後、ChatGPT はネットワーク機能を獲得し、適時性の問題を解決しました。

「影響力と論争」

• ChatGPT は人工知能の分野でセンセーショナルな効果をもたらし、一時 AIGC[a] コンセプト株の急騰を引き起こしました。 [6] [8] 投資機関は概して ChatGPT と AIGC トラックのビジネス見通しについて楽観的です。[9] 同時に、それは教育と学術界の伝統的なモデルに挑戦します。[8] 学術詐欺や盗作を防ぐため、科学博覧院、香港大学、その他の大学は、教師と学生が教育活動で ChatGPT などの AI ベースのツールを使用することを禁止すると発表しました。[37][38] 」、「Nature」、「Oncology」 他の多くの科学雑誌も、ChatGPTを「共著者」としてリストする論文を受け入れないとの声明を発表した。[8]
• また、ChatGPTによる合計約320TBのテキスト情報への不正アクセスの事前学習方法が物議を醸し、不満を引き起こしており、Twitter（ツイッター）CEOのイーロン・マスク氏は、ChatGPTが学習データを取得するためのTwitterデータベースへのアクセスを停止したことを公表した。 「OpenAIのガバナンス構造と将来の収益計画についてはさらなる情報が必要である」と主張。[36]欧州委員会域内市場担当のティエリー・ブルトン氏も2023年2月に、ChatGPTなどの人工知能技術はビジネスや人々の生活に大きなチャンスをもたらす可能性があるが、リスクも伴うと公的にコメントしたため、EUはは、その使用を規制し、高品質で価値のある情報とデータがユーザーに提供されることを保証するための規則や規制の制定を検討しています。[5] 現地時間2023年3月24日、OpenAIはユーザーとChatGPTコミュニティ全体に謝罪する声明を発表し、信頼を再構築すると述べた。声明によると、オープンソースライブラリのバグにより一部のユーザーが別のユーザーのチャットヘッダーを閲覧できるようになったため、同社は今週初めにChatGPTをオフラインにしたという。このバグは修正されました。[39] 3月31日、イタリアのデータ保護庁はOpenAIによるユーザー情報の違法収集に関する調査を開始し、今後チャットロボットChatGPTの使用を禁止し、イタリアのユーザー情報の処理を制限すると発表した。このプラットフォームを開発したのは、アメリカの人工知能企業 OpenAI によるものです。イタリアが措置を講じた後、欧州データ保護委員会は、欧州での捜査協力を促進するための特別作業部会の設置を発表した。その後、フランス国家情報自由委員会とスペイン国家データ保護庁は、ChatGPT の法違反の可能性について調査を開始しました。