無知な増加
モデルサイズ
すでに時代遅れ
ChatGPT または新しい bing に質問を入力すると、AI がクラウド ブレインを呼び出し、それについて考え、より合理的な回答を生成します。
OpenAIがGPTを開発した際、世代を重ねるごとにパラメータが巨大化し、モデルの規模が複雑化していることは繰り返し言及されていた。
大規模な言語モデルをトレーニングするには、膨大なコンピューティング能力を備えた GPU クラスターが必要ですが、ユーザーの数が急激に増加すると、その実行にもかなりのコンピューティング能力が必要になります。
AIGC への参加を希望する企業は、まず大規模なクラウド コンピューティング センターをどのように導入するかを検討しますが、AIGC における競争はハードウェア リソースの争奪戦となっているようです。
OpenAI CEO サム・アルトマン 写真提供: Wired
より強力なコンピューティング能力を備えたコンピューティング センターがあれば、より大規模な言語モデルやアルゴリズムを実行できるようになり、最終的な AI 製品もより「スマート」になる可能性があります。
しかし、MITでの最近の講演で、OpenAIの最高経営責任者（CEO）サム・アルトマン氏は、「奇跡を起こすための力」を使おうとする後発企業に冷や水を浴びせた。
アルトマン: モデルの無分別なスケーリングは時代遅れだ
「大規模モデルの時代は終わりました。AIGC が新たな進歩を遂げるためには、新しいアイデアと手法が必要です。」
モデル サイズの拡大、より複雑なパラメーターの利用、より大きなコンピューティング能力の要求は、基本的に OpenAI が過去数年間 GPT で使用してきた反復手法です。
GPT-2 には約 15 億のパラメータがあり、GPT-3 には 1,750 億のパラメータがあります。GPT-4 には公式のデジタル検証はありませんが、多くの機関は、GPT-4 では数兆語のテキストと数万台のコンピュータが使用されていると推測しています。サーバーのトレーニング費用は 1 億ドルを超えています。
ChatGPT の影響力が高まるにつれ、Microsoft もその基礎となるテクノロジーを使用して新しい bing を立ち上げています。
その後、Google が Bard を立ち上げ、Adobe が Firefly を立ち上げ、これらの大企業に加えて、Anthropic、AI21、Cohere、Character.AI など、シリコンバレーの資金豊富な多くの新興企業も、より大規模なアルゴリズムを構築するために狂ったように投資しています。 ChatGPT と OpenAI に追いつくために。
第二世代ランウェイは一言で生み出された大ヒット作
ハードウェア リソースに対する膨大な需要も、NVIDIA A100 および H100 GPU の購入ラッシュを引き起こしました。
eBay では、Nvidia の H100 は人気商品となり、公式販売価格はわずか 33,000 ドルであるにもかかわらず、価格は 40,000 ドルに達することもあります。さらに、H100 は通常、サーバーを構成する 8 個のパッケージで販売されます。
現時点では、外販で NVIDIA と競合するサードパーティ GPU は他にありませんが、AI の波の下では、より多くの NVIDIA GPU を搭載している人が AIGC 業界で勝つための鍵を握ると思われます。
伝統的な産業における資本の独占と大企業の独占と同様に、コンピューティングパワーの追求は「コンピューティングパワーの独占」も生み出しました。
そしてサム・アルトマン氏も、OpenAIにはGPT-5を開発する計画はないと述べた。これは、モデル サイズをむやみに拡大すると、GPT が無制限の反復を維持できなくなることを意味します。
現在、ChatGPT と Microsoft の新しい Bing は両方とも、コンピューティング能力が不十分なために、多くのダウンタイムと不安定なサービスに遭遇しています。
同時に、新しいbingはすべてのユーザーに公開されているわけではなく、依然として「順番待ち」の状況が続いています。
これが、Google が同様の生成 AI を検索に完全に導入できていない理由の 1 つです。
かつてGoogleでAIに取り組み、現在はCohereの創設者であるニック・フロスト氏も、アルトマン氏は非常に先見の明があったと述べ、新しい人工知能モデルの設計やアーキテクチャは人間のフィードバックに基づいて調整される可能性があるとも述べた。
このアイデアによれば、OpenAI はすでに GPT-5 を構想するために新しいアイデアを使用している可能性があります。
マスク氏: 人を引き抜き、グラフィックス カードを購入し、チームを結成してゲームに参加する
たとえサム・アルトマン氏が、現段階ではOpenAIの古い道をたどり、モデル規模を拡大することで改善すると公言したとしても、ChatGPTに追いつくのは難しいだろう。
しかし、アルトマン氏の旧友であるマスク氏は、断固としてAIGC業界に投資した。
ウォール・ストリート・ジャーナルによると、マスク氏はX.AI Cropという会社を密かに登録し、Googleから数人の研究者を引き抜き、Nvidiaから数千枚のグラフィックス・カードを購入したという。
マスク氏の目的は明らかで、それはOpenAIやGoogleと競争することだ。
関連報道が出た直後、マスク氏はフォックスニュースとのインタビューで、ChatGPTに似たTruthGPTという名前の製品を発売したいと認めた。
マスク氏の意図は明らかで、TruthGPTは「真実を探求するAIを最大限に活用」し、宇宙の性質を理解しようとし、害よりも多くの利益をもたらすことを期待している。
結局のところ、現在の大規模な言語モデルの規模から判断すると、X.AI Crop はシリコンバレーの一部のスタートアップ チームほど優れていない可能性があります。
そしてTruthGPTという名前もChatGPTへの抗議のようです。
マスク氏はGPT-4タイプの生成AIにはかなりのリスクがあると常々信じており、6か月の開発停止とそれに対応する規制の導入を求めている。
「文明を破壊する可能性がある」とさえ言った。
研究を中断したとだけ言って、X.AI Cropを設立し、AIGCに参入し始めたのだが、これは誇大広告であると思わずにはいられない。
さらに、研究開発を 6 か月間停止することは、OpenAI を封印するようなもので、遅れを取り戻すまでに 6 か月の猶予を与えることになります。
マスク氏のスペースXとテスラが業界を転覆させ、現在最も有名な企業になったことは否定できない。
ムスクとスターシップ
しかし、OpenAIを去り、現在の業績を見て、物議を醸すような発言をしたことは、マスク氏がずっと前からこの機会を逃す気がないことを示していた。
TruthGPT が彼の発言に従うことができるかどうかについては、6 か月待つしかありません。
ジェンスン・ファン: アプリが必要です
現在、生成 AI はダイアログ ボックス内にのみ存在し、現在のすべてのスマート デバイスに非常に古典的な形式で表示されます。
プラグインであろうとサードパーティ アプリであろうと、一般の人々が最終的にやり取りするのはダイアログ テキスト ボックスです。
これは、コンピューターが初めて登場したときの人間とコンピューターの相互作用の最も基本的な形式でもありました。
Nicolai Tangen によるポッドキャストの中で、彼は AI が人々の生活と働き方をどのように変えるかについて Nvidia CEO のジェンスン・フアンと語りました。
現在の AI の急速な発展は NVIDIA の GPU の助けと切り離すことができず、NVIDIA はクラウド コンピューティングの市場をほぼ独占しています。
アルトマン氏の見解によれば、現在の AI は超高度な計算能力、超大規模モデル、巨大なアルゴリズムのサポートから逃れることはできません。
それはスタートアップにとっての課題ですが、Nvidiaにとっても課題です。
Nvidia は、AI の発展に適応するために、より強力な GPU を継続的に開発および製造する必要があります。そして現在、AI は依然として巨大なデータセンターに存在しており、コンピューティング能力を提供するには複数のスーパーコンピューターが必要です。
これまでのアプリケーションやソフトウェアとは異なります。GPT-3のパラメータ数は1,750億個で、このような計算量に直面してNVIDIAのAI GPUは根本から再設計されました。
しかし現時点では、大規模なデータを処理し、大規模なモデルを学習するにはまだ数週間かかります。まだアプリや個人の PC に凝縮することはできません。
実際、これはクラウドやプラグインの形で実際に存在する、これまでのソフトウェアへの AI の推進も説明しています。
Nvidiaはまた、AIが自社チップの設計に浸透し始めているとし、「チップアーキテクトが眠っている間も、AIは対応するアーキテクチャを絶えず反復し、最適化、改善している」と述べた。
「チップの設計と製造を改善するのに役立ちます。」
つまり、チップの生産にAIが介入し、生産されたチップがクラウドコンピューティングのパワーとしてAIを稼働させるという、AIの自立といえるでしょう。
さらに黄仁勲氏は、AIも次の産業革命を引き起こすものであり、当面は人間に取って代わるように覚醒することはないと考えている。
それどころか、マンパワーが大幅に解放され、全員の生産性が向上します。複雑な Python、Java、C 言語を学習しなくても、自然言語を使用して直接プログラミングできます。
さらに同氏は、NVIDIAのソフトウェアエンジニアを例に挙げ、AIの活用により、コードやソフトウェアの約40～50％が生成AIによって補完され、エンジニアは提案やアイデアを提供するだけで済むと述べた。
Huang Renxun 氏はまた、AI の追加により、Nvidia ソフトウェア エンジニアの現在の生産性が 10 倍向上すると推定しています。
GithubのCopilot機能
AI の介入により、人々は多くの退屈なタスクを 10,000 倍の速さで完了できるようになり、間接的に生産性が向上します。
GPT-4 が登場する前は、AI 業界は高速反復を維持するために、モデルの規模を拡大し、ハードウェアの導入を増やすことに頼っていました。
コンピューティング能力のボトルネックが出現したため、OpenAI は AI の次の開発方向を最適化して見つける方法を再考する必要があります。
同様に、Huang Renxun 氏も、現在の AI のコンピューティング能力に対する需要は非常に大きく、巨大なスペースと多くのチップを備えた場所に存在する必要があることを明確に認識しています。今日の AI は世界の第一世代コンピューター ENIAC のようなものです。
AI の次のステップでは、リソースの需要を削減しながら、スリム化する必要があり、アプリまたはソフトウェア内で独立して存在できます。
現時点ではこれは現実的ではありませんが、良いニュースとして、OpenAI が Android および iOS エンジニアの採用を開始しており、対応するアプリが間もなく利用可能になるはずです。
ChatGPTの再現が難しい理由は、グラフィックカードの消費の他に、水道代や電気代が高すぎるということもあるのでは？
ChatGPT の父は GPT-5 が存在しないことを認めていますが、なぜ OpenAI は常にこれほど正直なのでしょうか? ｜10,000字の詳細説明
