編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
出典 | 新志源ID | AI時代
最新の MLPerf トレーニング ベンチマーク テストでは、H100 GPU が 8 つのテストすべてで新記録を樹立しました。
現在、NVIDIA H100 はすべてのカテゴリをほぼ独占しており、新しい LLM ベンチマークで使用される唯一の GPU です。
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
3,584 個の H100 GPU のクラスターは、GPT-3 に基づく大規模なベンチマークをわずか 11 分で完了しました。
MLPerf LLM ベンチマークは OpenAI の GPT-3 モデルに基づいており、1,750 億のパラメーターが含まれています。
Lambda Labs は、このような大規模なモデルのトレーニングには約 3.14E23 FLOPS の計算が必要であると推定しています。
編集
画像の注釈を追加します (140 ワード以内) (オプション)
11 分間トレーニングされた GPT-3 モンスターの作り方 NVIDIA と Inflection AI が共同開発した、LLM および BERT 自然言語処理 (NLP) ベンチマークでトップランクのシステム。エンタープライズ グレードの GPU アクセラレーション ワークロードを専門とするクラウド サービス プロバイダーである CoreWeave がホストします。このシステムは、3,584 個の NVIDIA H100 アクセラレータと 896 個の Intel Xeon Platinum 8462Y+ プロセッサを組み合わせています。
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
Nvidia が H100 に新しい Transformer エンジンを導入したためです。これは、Transformer モデルのトレーニングと推論を高速化するように特別に設計されており、トレーニング速度が 6 倍に向上します。CoreWeave がクラウドから提供できるパフォーマンスは、Nvidia がオンプレミスのデータセンターで実行されている AI スーパーコンピューターから提供できるパフォーマンスに非常に近いです。これは、CoreWeave で使用される NVIDIA Quantum-2 InfiniBand ネットワークの低遅延ネットワーキングのおかげです。
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
トレーニングに関与する H100 GPU の数が数百から 3,000 以上に増加しました。適切な最適化により、技術スタック全体が、要求の厳しい LLM テストにおいてほぼ線形のパフォーマンス スケーリングを達成できます。GPU の数が半分に減ると、同じモデルをトレーニングする時間は 24 分に増加します。GPU の増加に伴い、システム全体の潜在的な効率が超線形になることを示しています。主な理由は、Nvidia が GPU 設計の最初からこの問題を考慮し、NVLink テクノロジーを使用して GPU 間の通信を効率的に実現しているためです。
編集
画像の注釈を追加します (140 ワード以内) (オプション)
テストされた 90 のシステムのうち、82 のシステムは NVIDIA GPU を使用して高速化されました。
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
シングルカードのトレーニング効率
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
システム クラスターのトレーニング時間とインテルの比較 テストしたシステムでは、64 ～ 96 個の Intel Xeon Platinum 8380 プロセッサーと 256 ～ 389 個の Intel Habana Gaudi2 アクセラレータを使用しました。ただし、インテルはトレーニング時間を 311 分とした GPT-3 を提出しました。Nvidiaと比較すると、結果は少し悲惨です。
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
アナリスト: Nvidia には利点が多すぎます
業界アナリストは、GPU における Nvidia の技術的優位性は非常に明白であると考えています。
AI インフラストラクチャ プロバイダーとしての業界における同社の支配的な地位は、Nvidia が長年にわたって構築してきたエコシステムの堅固さにも反映されています。AI コミュニティも Nvidia のソフトウェアに大きく依存しています。ほぼすべての AI フレームワークは、Nvidia が提供する基盤となる CUDA ライブラリとツールに基づいています。
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
また、フルスタックの AI ツールとソリューションも提供します。AI 開発者のサポートに加えて、Nvidia はワークロードとモデルを管理するためのエンタープライズ グレードのツールへの投資を続けています。近い将来、業界における Nvidia の主導的地位は非常に安定するでしょう。アナリストはさらに考察を進めた。MLPerf テストの結果が示すように、クラウドで AI トレーニングを行うための NVIDIA システムの強力な機能と効率は、NVIDIA の「未来への戦争」の最大の資本です。
編集
画像の注釈を追加します (140 ワード以内) (オプション)
次世代 Ada Lovelace GPU、2025 年にリリース予定
Tom's Hardware のフリーライターである Zhiye Liu 氏も、最近、次世代の Nvidia Ada Lovelace グラフィックス カードの計画を紹介する記事を公開しました。
H100 が大規模モデルをトレーニングできる能力に疑いの余地はありません。わずか 3584 台の H100 で、GPT-3 モデルをわずか 11 分でトレーニングできます。最近の記者会見で、Nvidia は、GeForce RTX 40 シリーズ Ada Lovelace GPU の後継製品を含む次世代製品の詳細を示す新しいロードマップを共有しました。前者は現在入手可能な最高のゲーム グラフィックス カードの一部です。
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
ロードマップによると、NVIDIA は 2025 年に「Ada Lovelace-Next」グラフィックス カードを発売する予定です。現在の命名スキームが継続する場合、次世代の GeForce 製品は GeForce RTX 50 シリーズとしてリストされるはずです。南米のハッカー組織LAPSU$が入手した情報によると、Hopper Nextの名前はBlackwellとなる可能性が高い。コンシューマーグレードのグラフィックス カードでは、Nvidia は 2 年の更新リズムを維持しています。彼らは 2016 年に Pascal を、2018 年に Turing を、2020 年に Ampere を、そして 2022 年に Ada Lovelace を立ち上げました。今回、エイダ・ラブレスの後継機が2025年に発売されるとなれば、エヌビディアは間違いなくこれまでのリズムを崩すことになるだろう。
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
最近の AI の爆発により、最新の H100 であろうと前世代の A100 であろうと、NVIDIA GPU に対する大きな需要が生じています。報道によると、大手メーカーは今年、10億ドル相当のNvidia GPUを発注したという。輸出規制にもかかわらず、私の国は依然として Nvidia の世界最大の市場の 1 つです。（深セン華強北電子市場では、通常の2倍の2万ドルのNvidia A100が少量購入できるそうです。） この点、Nvidiaは一部のAI製品を微調整してリリースしました。輸出要件を満たすために、H100 や A800 などの特定の SKU が選択されています。
編集
画像の注釈を追加します (140 ワード以内) (オプション)
Zhiye Liu 氏はこれを分析し、別の観点から見ると、輸出規制は、チップ メーカーの顧客が同じパフォーマンスを得るためにオリジナル GPU のより多くのバリエーションを購入する必要があることを意味するため、実際には Nvidia にとって有益です。これは、Nvidia がゲーム用 GPU ではなくコンピューティング用 GPU の生成を優先する理由も理解できます。最近のレポートによると、Nvidia はコンピューティング グレードの GPU の生産を強化しています。AMDのRDNA 3製品スタックとの深刻な競争に直面しておらず、IntelもGPUの複占に重大な脅威を与えていないため、Nvidiaは消費者側で失速する可能性がある。
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
最近では、Nvidia は GeForce RTX 4060 および GeForce RTX 4060 Ti で GeForce RTX 40 シリーズ製品スタックを拡張しました。GeForce RTX 4050 とその上に RTX 4080 Ti または GeForce RTX 4090 Ti などを搭載する可能性があります。必要に応じて、Nvidia は古い Turing バージョンから製品を取り出し、Ada Lovelace をアップデートして「スーパー」扱いを与え、Ada のラインナップをさらに拡大することもできます。最後に、Zhiye Liu 氏は、少なくとも今年か来年には、Lovelace アーキテクチャは実際には更新されないと述べました。参考文献: https://blogs.nvidia.com/blog/2023/06/27/generative-ai-debut-mlperf/