GPT-4 は OpenAI がリリースした最新の自然言語生成モデルで、GPT-3 に次ぐ画期的なモデルで、1.76T という驚異的なパラメータを持ち、さまざまなテキスト コンテンツを生成できます。しかし、OpenAIはGPT-4の具体的なパラメータやアーキテクチャ設計についてあまり詳細を明らかにしておらず、訓練に大量のデータを使用するトランスフォーマーベースのモデルであるとだけ述べた。
最近、シリコンバレーの有名なオタクであるジョージ・ホッツ氏がポッドキャストで GPT-4 に関する内部情報を公開しました。彼によると、GPT-4 は実際には 8 つの同一の 220B モデルを接続して作られていますが、トレーニング データは異なります。エキスパート モデルとエキスパート モデルの混合では、各推論は 16 ラウンドの推論を行う必要があります。彼は、このデザインはあまり洗練されておらず、モデルによって生成されたコンテンツの錯覚や、繰り返し出力されるコンテンツの崩壊につながると考えています。
George Hotz は GPT-4 を非常に詳しく理解しているだけでなく、OpenAI と Musk についても独自の鋭い見解を持っています。彼は OpenAI を賞賛すると同時に軽蔑しており、OpenAI が最高のエンジニアリング スキルと理論家を備えたディープラーニング分野の絶対的なリーダーであることを認めています。しかし、彼は OpenAI の優れたエンジニアリング スキルも好きではなく、これは痛い教訓だと考えています。同氏は、OpenAIは独自の言語JAXでトランスフォーマーを実装するなど、多くの不要なことを行ったと述べた。彼は、変圧器の優れた効果の謎は注意メカニズムではなく、その準重みの共有にあると信じています。重み行列は動的に生成されるため、重み行列を圧縮できます。
ジョージ・ホッツ氏はマスク氏と関係があり、マスク氏からツイッターでテスラで働くよう誘われ、口頭でオファーを受けたことがある。しかし最終的には成功せず、自動運転を行うために自分でビジネスを始めることを選択した。同氏は、マスク氏と自身は専門分野の背景が異なり、マスク氏は物理学、彼は情報理論だと述べた。マスク氏は火星に行きたいと考えており、AIロボットを作りたいと述べた。同氏のロードマップは、最初の企業がハードウェアインフラストラクチャを構築し、2番目のTinyCorpがソフトウェアインフラストラクチャを構築し、3番目の企業が最初に実際の製品を構築することであると述べた。その商品がAIカノジョです。
GPT-4、OpenAI、マスクに関する見解に加えて、George Hotz 氏は AI の開発傾向に関する 3 つの推測も共有しました。
**最初の推測: **AI のコンピューティング能力は 10 年ごとに 6 桁加速します
**第 2 の推測:** AI の総合的な能力 (認識/意思決定/生成) のエラー率は 10 年ごとに 1 桁低下する
**第 3 の推測:** AI のエラー率が 1 桁低下するたびに (さらに新しい機能の出現により)、アプリケーションと分野の範囲 (市場規模) は 1 桁ずつ増加します
同氏は、いくつかのグラフやデータを用いて自身の推測を裏付け、「AIの発展スピードは驚くべきものだが、無限ではない。克服すべき課題や困難はまだたくさんある」と信じている。同氏は、クロスエントロピー損失の機械学習損失関数を削減することは、一歩前進するごとに実際には非常に困難であり、消費される計算能力は指数関数的に増加していると述べ、それは本当に長い道のりであり、上下に探索するつもりです。
このポッドキャストでは、シリコンバレーのオタクの考え方や価値観を見ることができ、物議を醸す意見もあるかもしれませんが、インスピレーションを与えるものでもあります。私たちは、George Hotz は面白くて才能のある人物だと考えています。彼のプロジェクトやアイデアには、tinygrad や tinybox など、非常に興味深いものもあります。私たちは彼の次の動きにも期待しており、彼が夢を実現できることを願っています。