奇跡
この本の主題である ChatGPT は不思議です。
2022 年 11 月のリリースからほぼ半年が経過し、ChatGPT が集めた注目と影響力は、情報テクノロジーの歴史におけるほとんどすべてのホットスポットを超えている可能性があります。
ユーザー数は2日間で100万人、2か月で1億人に達し、TikTokのこれまでの記録を破った。そして、2023 年 5 月の iOS アプリのリリース後は、何の不安もなく Apple App Store の総合リストのトップに立つことになります。
多くの人が生まれて初めて、間違いを修正できるこのような高度にインテリジェントな対話システムに触れました。記事を書くと、多くの場合、非常に自信を持って「重大なナンセンス」を示し、単純な足し算や引き算さえ正しくありませんが、それが間違っていることを思い出させたり、段階的に行かせたりすると、非常に信頼性が高く、順序立てて物事を行う手順をリストし、正しい答えが得られます。複雑なタスクについては、冗談を言うのを待っているかもしれませんが、急いで合理的な答えを返して驚かせます。
多くの業界専門家もそれに圧倒されています。
当初は悲観的で、2019年にはマイクロソフトのOpenAIへの投資決定に反対票を投じたこともあったゲイツ氏は、今ではChatGPTをPCやインターネットなどと比較している。黄仁勲氏はこれをiPhoneの瞬間と呼び、OpenAIのサム・アルトマン氏は印刷機に例え、GoogleのCEOサンダー・ピチャイ氏はそれを火と電気だと述べた。Alibaba Zhang Yong 氏の提案は、「すべての業界、アプリケーション、ソフトウェア、サービスは、大規模モデルの機能に基づいてやり直す価値がある」です。マスク氏を代表とする多くの専門家は、ChatGPTの画期的な機能が人類に脅威をもたらす可能性があるため、強力なAIモデルの開発の中止を求めた。
終了したばかりの2023年の知源会議でサム・アルトマン氏は、AGIは10年以内に実現する可能性が高く、AGIによって引き起こされるさまざまな問題を解決するには世界的な協力が必要であると自信を持って語った。深層学習を舞台の端から中央まで共同で推進し、チューリング賞を受賞した 3 人の科学者は、大きく異なる意見を持っています。
Yann LeCun 氏は、GPT に代表される自己回帰大規模モデルには本質的な欠陥があり、世界モデルを回避する新しい方法を見つける必要があるため、AI の脅威について心配していないと明らかにしました。
別の講演者のビデオに出演した Yoshua Bengio 氏は、GPT ルートだけが AGI につながる可能性には同意しませんでしたが (彼はベイズ推論とニューラル ネットワークの組み合わせについて楽観的です)、大規模なモデルには大きな可能性があり、第一原理に明らかな上限はないことを認めたので、AI 開発の一時停止を求める公開書簡に署名しました。
フィナーレスピーチを行ったジェフリー・ヒントン氏は、大規模モデルが現実世界の圧縮表現を学習できるという弟子のイリヤ・サツケヴァー氏の見解に明らかに同意し、バックプロパゲーション（平たく言えば、組み込みの誤り認識と修正機構のこと）と簡単に拡張できる人工ニューラルネットワークがあれば、知能は間もなく人間を超える可能性があることに気づき、AIのリスクを訴えるチームに加わった。
ChatGPTに代表される人工ニューラルネットワークの反撃の旅は、科学技術の歴史全体の波瀾万丈ともみなされてきました。さまざまなジャンルの人工知能コミュニティで繰り返し差別や攻撃を受けてきました。複数の先駆的天才が悲劇に終わった。
1943 年、ウォルター ピッツとウォーレン マッカローは、ニューラル ネットワークの数学的表現を提案したとき、まだ 20 歳でした。彼は中学校を卒業していませんでした。その後、家庭教師のウィーナーとの不和が原因で学界から離れ、過度の飲酒により 46 歳で早世しました。
1958 年、30 歳のとき、パーセプトロンを通じてニューラル ネットワークを実際に実現したフランク ローゼンブラットは、43 歳の誕生日に溺死しました。
バックプロパゲーションの主な提唱者であるデビッド・ルメルハート氏は、50代の壮年期に稀な難病を患い、1998年から認知症を患い始め、10年以上の闘病の末、2011年に亡くなった。
……
ミンスキーのようなトップカンファレンスや学術界の巨人の一部は、ニューラルネットワークに無遠慮に反対、さらには拒否しており、ヒントン氏らは、自分たちの生存空間を勝ち取るために、「連想記憶」、「並列分散処理」、「畳み込みネットワーク」、「深層学習」など、より中立的またはあいまいな用語を採用することを余儀なくされている。
ヒントン自身も1970年代からイギリス、アメリカと何十年も不人気な方向を貫き、ついにはかつての学術フロンティアであるカナダに足がかりを築き、財政的支援がないにもかかわらず少数のエリートによる学校設立に尽力した。
2012 年に博士課程の学生であるイリヤ・サツケヴァーらが新しい手法を使用して ImageNet コンペティションで空に舞い上がるまで、ディープラーニングは AI の著名な科学となり始め、さまざまな業界で広く使用されました。
2020 年、彼は OpenAI のチームを率い、数千億のパラメーターを備えた GPT-3 による大規模モデルの時代を切り開きました。
ChatGPT 自身の人生経験も非常にドラマチックです。
2015年、30歳のサム・アルトマンと28歳のグレッグ・ブロックマンはマスクと組んで、30歳のイリヤ・サツケヴァーらAIのトップ人材を招集してOpenAIを共同設立し、Google、Facebook、その他多くの巨大企業の外に中立的なフロンティアAI研究部隊を設立し、人間レベルの人工知能を目標に野心的に設定したいと考えた。
当時のメディアは基本的にマスク氏が肩書き通りの非営利AI組織設立を支持していると報じており、OpenAIについて楽観視する人は多くなかった。イリヤ・サツケヴァーのような魂でさえ、参加する前にいくつかのイデオロギー的な闘争を経験しました。
過去 3 年間、彼らは強化学習、ロボット、マルチエージェント、AI セキュリティなどで複数行の攻撃を行ってきましたが、実際、特に説得力のある結果は得られていませんでした。メインスポンサーのマスク氏はその進捗に不満を抱き、直接経営を望んでいたが、評議会から拒否され、完全撤退を選択した。
2019年3月、サム・アルトマン氏がOpenAIのCEOに就任し、数カ月以内に営利会社の設立を完了し、マイクロソフトから10億米ドルの出資を受け、その後の開発の準備を整えた。
科学研究に関しては、2014年にオーリン工科大学を卒業して2年後にOpenAIに入社したアレック・ラドフォード氏が精力的に取り組み始め、主著者としてイリヤ・サツケヴァー氏らの指導のもと、PPO（2017年）、GPT-1（2018年）、GPT-2（2019年）、ジュークボックス（2020年）、ImageGPT（2020年）、CLIP（2021年）、Whiを次々と完成させた。 『sper』（2022）やその他多くの先駆的な作品。特に、2017 年の感情ニューロンの研究は、大規模モデル、大規模なコンピューティング能力、ビッグデータの技術的ルートと組み合わせた「次のキャラクターを予測する」というミニマリスト アーキテクチャを作成し、その後の GPT に重要な影響を与えました。
GPT の開発は順風満帆ではありませんでした。
以下の図 1 から明らかなように、GPT-1 論文の発表後、OpenAI の意図的に単純化されたデコーダのみのアーキテクチャ (正確に言うと、自己回帰機能を備えたエンコーダとデコーダ) はあまり注目されず、数か月後には Google の BERT (エンコーダのみのアーキテクチャ、正確にはエンコーダと非自己回帰デコーダ) に脚光が奪われました。xxBERT のような非常に影響力のある一連の作品がありました。
図 1 大規模なモデルの進化ツリー、2023 年 4 月に Amazon Yang Jingfeng らによる論文「Harnessing the Power of LLMs in Practice」より
現在でも、後者は 68,000 件を超える参考文献を蓄積していますが、これは GPT-1 の 6,000 件未満よりもさらに桁違いに多いです。両紙の技術路線は異なっており、当時は学界でも産業界でも、ほぼ全員がBERT陣営を選択していた。
2019年2月にリリースされたGPT-2では、パラメータの最大スケールが15億に増加するとともに、より大規模で高品質、より多様なデータを利用することで、強力な汎用性を発揮し始めました。
当時、GPT-2 が技術コミュニティで話題になったのは研究そのものではなく (現在に至るまで、論文の引用数は 6,000 件前半であり、BERT よりはるかに少ないです)、OpenAI が安全上の理由から最小の 3 億 4,500 万パラメータ モデルのみをオープンソース化したことが騒動を引き起こしました。OpenAI がオープンではないかどうかについてのコミュニティの印象はここから始まります。
OpenAIはこれと前後して、スケールが言語モデルの能力に及ぼす影響についても研究を行い、組織全体の主な方向性であるラージモデルを決定する「スケーリングの法則」（スケーリングの法則）を提案した。このため、強化学習やロボット工学などの他の方向性は遮断されました。賞賛に値するのは、中核的な研究開発担当者のほとんどが留まり、研究の方向性を変え、エゴを捨て、大きな仕事に集中することを選択したことであり、多くの人がエンジニアリングやデータの仕事に目を向けたり、研究の方向性を大規模モデルを中心に再配置したりしました（たとえば、強化学習は GPT 3.5 とその後の進化で大きな役割を果たしました）。この組織の柔軟性も OpenAI の成功の重要な要素です。
2020 年に GPT-3 が登場すると、小規模な NLP サークルの一部の洞察力のある人々が、OpenAI 技術ルートの大きな可能性に気づき始めました。中国では、北京知源人工知能研究所が清華大学などの大学と共同でGLMやCPMなどのモデルを立ち上げ、国内の学界で大型モデルの概念を積極的に推進している。図 1 からわかるように、2021 年以降、GPT ルートが完全に優勢になりましたが、BERT の「種」の進化ツリーはほぼ停止しました。
2020年末、OpenAIの2人の副社長であるダリオ・アモデイとダニエラ・アモデイの兄弟姉妹は、多くのGPT-3チームとセキュリティチームの同僚を率いて退職し、Anthropicを設立した。OpenAI における Dario Amodei の立場は並外れたもので、Ilya Sutskever のほかにテクノロジー ロードマップの作成者でもあり、GPT-2 および GPT-3 プロジェクトとセキュリティの方向性のゼネラル ディレクターでもあります。そして彼には、GPT-3 およびスケール法に関する論文の中核が多数あります。
1 年後、Anthropic は「アライメントの実験室としての一般言語アシスタント」という論文を発表し、チャット アシスタントを使用したアライメントの問題の研究を開始しました。それ以来、インテリジェントなチャット製品である Claude へと徐々に進化してきました。
2022 年 6 月に「大規模言語モデルの緊急能力」論文が発表されましたが、その最初の研究者は、ダートマス大学を学部として 2 年間だけ卒業した Google 研究者のジェイソン・ウェイでした (彼は、Google のエリート層の転職の波があった今年 2 月に OpenAI にも通いました)。本稿では、大型モデルの出現能力について考察するが、このような能力は小型モデルには存在せず、モデル規模がある程度大きくなって初めて出現する能力である。それは、私たちがよく知っている「量的変化が質的変化をもたらす」ということです。
GPT-4の開発を進めていたOpenAI社員らは11月中旬までに経営陣から、競争を理由にすべての作業を中止し、全力でチャットツールを立ち上げるよう指示を受けた。2 週間後、ChatGPT が誕生しました。その後何が起こったかは歴史に記録されています。
業界では、OpenAI の経営陣は Anthropic Claude の進歩について学び、この製品の大きな可能性を認識し、最初に行動することを決定すべきだったのではないかと推測しています。これは中核人材の超戦略的判断力を示しています。ご存知のとおり、ChatGPT のコア開発者ですら、この製品が発売後になぜこれほど人気があるのかわかりませんし (「両親がついに私が何をしているのかを知ってくれた」)、試してみたときはまったく驚くべきものとは感じませんでした。
半年間の「評価、敵対的テスト、モデルとシステムレベルの緩和策の反復的な改善」を経て、2023 年 3 月に GPT-4 がリリースされました。
Microsoft Research によるその内部バージョン (一般に公開されているオンライン バージョンを超える可能性がある) の調査では、「これらすべてのタスクにわたって、GPT-4 は驚くほど人間のパフォーマンスに近いパフォーマンスを発揮します...GPT-4 の広さと奥深さを考慮すると、GPT-4 は汎用人工知能 (AGI) システムの初期の (ただしまだ不完全な) バージョンであると合理的に見なすことができると考えています。」と結論付けています。
それ以来、国内外の企業や科学研究機関が追随し、毎週のように1つ以上の新モデルが発表されていますが、総合的な能力という点では依然としてOpenAIが最も優れており、それに匹敵するのはAnthropicだけです。
なぜ中国はChatGPTを開発しなかったのかと多くの人が疑問に思うでしょう。実際、正しい質問 (プロンプト) は次のとおりです。なぜ世界で OpenAI だけが ChatGPT を作成できるのですか? 彼らの成功の理由は何でしょうか？これについて考えることは、今日でも意味があります。
ChatGPT、なんて奇跡でしょう。
変な男
この本の著者、スティーヴン・ウルフラムは変わった人です。
彼はマスク氏のような有名なテクノロジーの有名人ではありませんが、確かにテクノロジーオタクの小さなサークルではよく知られており、「生きている中で最も賢い人」と呼ばれています。
Google の創設者の 1 人であるセルゲイ ブリンは、大学時代にインターンシップでウルフラムの会社に惹かれました。Sogou と Baichuan Intelligence の創設者、Wang Xiaochuan も彼の熱狂的なファンとして有名で、「尊敬と熱狂の念を持って…長年にわたって追随し続けています」。
ヴォルフラムは子供の頃から神童として知られていました。学校が勧める「バカな本」を読むことを軽蔑し、算数が苦手で、すでに答えられている問題をやりたがらないため、教師たちは最初、この子は苦手だと思っていた。
その結果、13 歳のときに私は物理学の本を何冊か自分で書きましたが、そのうちの 1 冊は「素粒子物理学」と呼ばれていました。
彼は 15 歳のとき、新しい形式の高エネルギー電子ハドロン結合を提案する本格的な高エネルギー物理学の論文「ハドロニック電子?」をオーストラリア物理学会誌に発表しました。この論文には 5 件の引用もあります。
ウルフラムはイギリスのイートン大学やオックスフォード大学などの有名大学で数年間過ごしましたが、授業はほとんど受けず、他人が解いた問題が嫌いで卒業前に逃げ出し、ついに20歳で直接博士号を取得しました。
その後彼は留まり、カリフォルニア工科大学の教授になりました。
1981 年、ウルフラムは第 1 回マッカーサー天才賞を最年少で受賞しました。同じグループは、1992 年のノーベル賞受賞者ウォルコットを含め、さまざまな分野の達人ばかりです。
彼はすぐに純粋な物理学への興味を失いました。1983 年に、彼はプリンストンの高等研究所に移り、自然現象と社会現象のより根本的な法則を発見することを望んで、セル オートマトンの研究を始めました。
この変革は大きな影響を与えました。彼は複雑系の学問分野の創始者の一人となり、ノーベル賞に値する研究を生み出したと考える人もいます。20代の頃、彼は数人のノーベル賞受賞者ゲルマンやフィリップ・アンダーソンとともにサンタフェ研究所の初期の研究に参加し（1972年に論文「More is Different」を発表し、創発の概念を提案したのは彼だった）、UIUCに複雑系研究センターを設立した。彼は学術誌「Complex Systems」も創刊しました。
セル・オートマトンに関するコンピュータ実験をより便利にするために、彼は数学ソフトウェア Mathematica (名前は友人のジョブズが命名した) を開発し、その後ソフトウェア会社 Wolfram Research を設立して起業家として成功しました。
Mathematica ソフトウェアの力は、本書の後半で ChatGPT を解釈する際の高度に抽象的で明確な文法から直感的に感じることができます。正直に言うと、このソフトウェアと関連技術を真剣に勉強したいと思いました。
1991年、ヴォルフラムは研究の状態に戻り、夜隠れを始め、10年間毎晩実験と執筆に没頭し、1,000ページを超える傑作『新しい種類の科学』を出版した。
この本の主な視点は、すべては計算されており、人間によって引き起こされたものや自然界で自然発生的に発生したものを含む宇宙のさまざまな複雑な現象は、いくつかのルールを使用した単純な計算によってシミュレートできるというものです。
Amazon の書評の記述は、「ガリレオはかつて自然は数学の言語で書かれていると主張したが、ウルフラムは自然がプログラミング言語（そして非常に単純なプログラミング言語）で書かれていると信じている」という記述の方がよく理解できるかもしれない。
さらに、人間の脳の働きや気象システムの進化など、これらの現象やシステムは計算上は等価であり、同じ複雑さを持っていることを「計算等価性の原理」といいます。
この本は非常に人気のある言語であり、1,000 枚近くの写真があるためですが、学界、特に古い物理学の同僚からの批判も数多くあります。この本に主に集中している理論は独創的ではなく（計算の複雑さに関するチューリングの研究、コンウェイのライフゲームなども同様です）、数学的厳密さに欠けているため、多くの結論はテストに耐えることが困難です（たとえば、自然選択は生物学的複雑さの根本原因ではありません。また、チューリングの著書「量子コンピューティングオープンコース」の著者であるスコット・アーロンソンも、ウルフラムの方法では量子コンピューティングにおける非常に核心的なベルテスト結果を説明できないと指摘しています）。
Wolfram は批判に応えて Wolfram|Alpha ナレッジ コンピューティング エンジンを立ち上げました. これは多くの人によって 最初の真に実用的な人工知能技術であると考えられています. 知識とアルゴリズムを組み合わせることで, ユーザーは自然言語でコマンドを発行することができ, システムは答えを直接返します. 世界中のユーザーは、ChatGPT プラグインを含む Web、Siri、Alexa を通じてこの強力なシステムを使用できます。
ChatGPTに代表されるニューラルネットワークをWolframの理論に当てはめると、偶然の関係が見つかるだろう。多くの機械学習モデルと比較した場合、GPTの基礎となる自己回帰アーキテクチャは確かに「単純なルールによる計算」に分類でき、その能力は量的変化の蓄積を通じて現れる。
Wolfram はハリウッド SF 映画の技術サポートを頻繁に提供しており，Mathematica と Wolfram プログラミング言語を使用して現実的な効果を生成しています．より有名なものとしては，「Interstellar」のブラックホール重力レンズ効果や「Arrival」の時間と空間を超越できる魔法のエイリアン言語などが挙げられます．
彼は結局その年、プリンストン大学の同僚との確執に関連して学界を去った。ファインマン教師は彼を説得するために、「あなたには普通の人々の考えは理解できないでしょう。あなたにとって彼らはただの愚か者です。」と手紙を書いた。
私は自分のことをやり、素晴らしい人生を送りました。
スティーヴン・ウルフラムはすごいですね。
奇妙な本
変なもの＋変な人、この本はもちろん変な本です。
スティーヴン・ウルフラムのような巨匠が、幅広い読者にとって大きな関心を集めているテーマで人気の本を書けること自体が奇跡だ。
彼は人間の知能などの現象の第一原理を解明したいという理由から 40 年前に純粋物理学から複雑系に転向し、多くのことを蓄積してきました。幅広い人脈があるため、ジェフリー・ヒントン、イリヤ・サツケヴァー、ダリオ・アモデイなどの主要人物と連絡を取り合い、直接の情報を持っているため、テクノロジーの正確性が保証されています。この本の出版後、OpenAI の CEO がこの本を「ChatGPT の原理の最良の説明」と呼んだのも不思議ではありません。
本全体は 2 部に分かれており、紙面は非常に小さいですが、ChatGPT の最も重要なポイントが言及されており、説明は人気があり、丁寧です。
私は Turing コミュニティで "ChatGPT Learning Camp" を開始しました。さまざまな技術レベルや専門的背景を持つ学生と多くの交流をしました。大規模なモデルを理解し、いくつかの核となる概念を正しく確立することが非常に重要であることがわかりました。これらの柱がなければ、たとえ上級アルゴリズム エンジニアであっても、認知が大きく偏ってしまう可能性があります。
たとえば、GPT 技術ルートの核となる概念の 1 つは、最も単純な自己回帰生成アーキテクチャを使用して教師なし学習問題を解決することです。つまり、人間によるラベル付けを行わずに元のデータを使用し、そこから世界へのデータのマッピングを学習します。中でも、自己回帰生成アーキテクチャは、本書で非常に人気のある「一度に 1 単語ずつ追加するだけ」です。ここで、このアーキテクチャを選択する目的は生成タスクを実行することではなく、モデルの一般的な機能を理解または学習し、実現することに注意することが重要です。2020 年以前もその後も、業界の多くの専門家は GPT がタスクを生成するためのものであることを当然のことと考え、無視することを選択しました。誰もが知っているように、GPT-1 論文のタイトルは「生成的事前トレーニングによる言語理解を向上させる」です。
別の例として、技術的な背景や機械学習の背景があまりない読者にとって、人工知能の最新の開発を理解する際に直面するであろう当面の困難は、「モデル」と「パラメータ (ニューラル ネットワークの重み)」という古い基本概念が理解できないことであり、これらの概念を明確に説明するのはそれほど簡単ではありません。この本では、偉大な著者が直感的な例（機能とノブ）を用いて非常に思慮深く説明しています。(「モデルとは」セクションを参照)
ニューラル ネットワークに関するいくつかのセクションには豊富な図とテキストが含まれており、あらゆる種類の読者にとって、ニューラル ネットワークの性質とそのトレーニング プロセス、損失関数や勾配降下などの概念をより深く理解するのに非常に役立つと思います。
著者は説明のイデオロギー的性質を無視していませんでした。たとえば、次の段落は深層学習の意味を理解するのに適した入門書です。
2012 年頃の「ディープ ラーニング」における大きな進歩は、関係する重みが比較的少ない場合よりも、多くの重みが関係する場合の方が (少なくとも近似的に) 最小化するのが簡単である可能性があるという発見に関連していました。
言い換えれば、複雑な問題は単純な問題よりもニューラル ネットワークを使用した方が簡単に解決できる場合があるということは、直観に反しているように思えるかもしれません。その一般的な理由は、「重み変数」が多い場合、極小値に導く高次元空間には「さまざまな方向」が存在し、変数が少ない場合は、極小値の「山の湖」に陥りやすく、「外へ出る方向」を見つけることができないためです。
この段落では、エンドツーエンド学習の価値を明確にします。
ニューラル ネットの初期には、「ニューラル ネットはできる限り最小限のことを行うべきである」と考える傾向がありました。たとえば、音声をテキストに変換する場合、まず音声の音声を分析し、音素などに分解する必要があると考えられています。しかし、(少なくとも「人間のようなタスク」の場合) 最善のアプローチは、通常、ニューラル ネットワークを「エンドツーエンドで問題を解決する」ように訓練し、必要な中間特徴やエンコーディングなどを独自に「発見」させることであることが判明しました。
これらの概念の理由を理解することは、GPT の背景を理解するのに役立ちます。
埋め込みの概念は、大規模なモデル開発に従事するアルゴリズム研究者、大規模なモデル アプリケーション開発に基づくプログラマ、および GPT を深く理解したい一般の読者にとって重要であり、「ChatGPT の中心的な考え方」でもありますが、比較的抽象的であり、特に理解しやすいものではありません。本書の「「エンベディング」の概念」セクションは、私がこれまで見た中でこの概念を最もよく説明しており、図、コード、テキストの解釈という 3 つの方法を通じて、誰もがそれを理解できると信じています。もちろん、次のテキストの「意味空間と意味運動の法則」セクションには多くのカラー図があり、この概念をさらに深めることができます。
このセクションの最後では、一般的な単語のトークン (トークン) も紹介され、直感的な英語の例がいくつか示されています。
ChatGPT の動作原理とトレーニング プロセスについての次の紹介も人気があり、厳密です。Transformerのより複雑な技術は非常に詳細に説明されており、現在の理論ではなぜこれが効果的であるのかが解明されていないことも正直に伝えられています。
最初の部分は最後に著者の計算既約理論を組み合わせて終了し、ChatGPT の理解をより高いレベルに引き上げます。これは、Illya Sutskever 氏が複数のインタビューで強調した GPT の一般的な概念と同様に、生成を通じてワールド モデルの圧縮表現を取得します。
私の意見では、この一節は非常に示唆に富んだものです。
「意味のある人間の言語」を生成するには何が必要ですか? かつて、私たちは人間の脳が不可欠であると考えていたかもしれません。しかし今では、ChatGPT のニューラル ネットワークも非常に優れた仕事をできることがわかりました。…ChatGPT の成功は、重要な「科学的」事実を示唆しているのではないかと私は強く疑っています。つまり、意味のある人間の言語は、実際には私たちが思っているよりも構造化されていて単純であり、最終的にはそのような言語を非常に単純なルールで編成する方法を記述することが可能になるかもしれないということです。
言語は、真剣に思考し、意思決定し、コミュニケーションするためのツールであり、子どもの習得順序と難易度の観点から、知覚や行動に比べて知能の中で最も難しい課題のはずです。しかし、Wolfram氏が「」と述べたように、ChatGPTはパスワードを破った可能性があります。これは、将来的には、コンピューティング言語やその他の表現を通じて全体的な知能レベルがさらに大幅に向上する可能性があることを示しています。
このことから拡張すると、人工知能の進歩はさまざまな分野で同様の影響を与える可能性があります。以前は難しいと考えられていた主題も、別の観点から見ると実際にはそれほど難しくありません。GPT のような汎用インテリジェント アシスタントの恩恵と相まって、「一部のタスクは基本的に不可能から基本的に実行可能に変わり」、最終的に全人類の技術レベルは新たな高みに達しました。
本書の第 2 部では、ChatGPT と Wolfram|Alpha システムの比較と組み合わせを、多くの例とともに紹介します。GPTの汎用知能がより人間に近いとすれば、確かに人間の多くは本質的に精密な計算や思考が苦手であり、将来的には汎用モデルと専用モデルの組み合わせも有望な方向性となるはずである。
この本では ChatGPT の事前トレーニング部分のみに焦点を当てており、同じく重要な次の微調整ステップである教師あり微調整 (SFT)、報酬モデリング、強化学習については説明していないのが少し残念です。この点でより優れた学習教材は、2023 年 5 月の Microsoft Build カンファレンスで、OpenAI の創設メンバーで元 Tesla AI リーダーである Andrej Karpathy 氏が行ったスピーチ「State of GPT」です。
このスピーチのビデオと洗練された中国語のテキスト画像をチューリング コミュニティ「ChatGPT Learning Camp」に提供しました。将来的には、この本のガイド付きリーディング クラスも開催される予定です。皆さんの参加を歓迎します。
Liu Jiang 氏と Wan Weigang 氏は、7 月 25 日に書籍「This is ChatGPT」に関連したコンテンツを共有します。フォローする予約を歓迎します。
クリックして原文を読み、ChatGPT ラーニング キャンプに参加してください。