GPU Utils は最近、AI トレーニングにおける Nvidia H100 グラフィックス カードのアプリケーションに関する記事をまとめました。これは、現在の主流メーカーが所有するグラフィックス カードの数と、一部のモデルのトレーニングに必要なグラフィックス カードの数を明らかにし、要約します。この記事では主に H1000 の需要と供給について説明し、H100 の性能についても説明します。この記事で言及されているグラフィックス カードの数に関する統計を主にまとめていますので、ご参考にしてください。
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
-
H100 の概要と、一般的な H100、GH200、DGC GH200、および HGX H100 の違い
-
GPT-4/Falcon などのモデルのトレーニングに使用される GPU の数
-
OpenAIやTeslaなどのメーカーが保有するGPUの数
H100 の概要と、一般的な H100、GH200、DGC GH200、および HGX H100 の違い
まずはここで関わるグラフィックスカードの基礎知識を簡単にご紹介しましょう。H100 は現在、世界最高性能のプロフェッショナル グラフィックス カードであり、大規模な言語モデルなどの大規模なパラメータを使用して大規模なモデルをトレーニングするのに特に適しています。高速。16 ビット トレーニングでは A100 より 2.3 倍高速で、16 ビット推論では A100 より 3.5 倍高速です。
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
もちろん、H100 と併せて、H100、GH200、DGX GH200、HGX H100、DGX H100 という名前もよく見かけられますが、基本的な違いは次のとおりです。
-
H100 = 1 つの H100 GPU
-
HGX H100 = OEM が 4 GPU または 8 GPU を備えたサーバーを構築するために使用できる Nvidia のサーバー参照プラットフォーム。Supermicro などのサードパーティ OEM によって製造されています。
-
DGX H100 = 8 個の H100 GPU を搭載した Nvidia の公式 H100 サーバー。Nvidia が唯一のサプライヤーです。
-
GH200 = 1x H100 GPU と 1x Grace CPU。
-
DGX GH200 = 256 GH200、2023 年後半に発売予定。おそらく Nvidia のみからのものです。
つまり、H100 は単なるグラフィックス カードですが、大規模なモデルのトレーニングなどを提供するために、相互接続された 4 つまたは 8 つの H100 を含むサーバーを作成してみてください。ここで注目すべきGrace CPUもあります。これは、ARMをベースにNvidia自身が開発したサーバーCPUです。
ここで、GHとはNvidia Grace CPUを搭載したサーバーを意味し、DGXとはNvidia自身が供給するGPUを搭載したサーバーを意味します。
GPT-4/Falcon などのモデルのトレーニングに使用される GPU の数
このブログでは一部のモデルのトレーニングに使用されている GPU の数も紹介していますが、もちろんこれらのデータの原文には参考文献や出典が記載されているため、記載は省略します。
-
GPT-4: 10,000 ～ 25,000 台の A100 によってトレーニングされる可能性があります
-
Falcon-40B: 384 A100 訓練
-
GPT-3.5 と同等の大規模モデルをトレーニングするために 3500 H100 を使用した屈折
-
LLaMA-1: 2048 A100
-
GPT-5: 30,000 ～ 50,000 H100 が必要になる可能性があります (疑わしい)
OpenAIやTeslaなどのメーカーが保有するGPUの数
-
メタは 21,000 の A100 で構成されます
-
テスラは 7000 ブロック A100 で構成されています
-
StabilityAI には 5000 A100 があります
-
GPCにはH100が25,000個あります
-
Azure には 10,000 ～ 40,000 の H100 があります
-
CoreWeavw には 35,000 ～ 40,000 の H100 があります
-
OpenAI には 50,000 個の H100 がある可能性があります
-
感染は22,000 H100を望んでいます
-
メタはすでに H100 を 25,000 個所有していますが、さらに 10,000 個購入したいと考えています
出典: データラーニング 著者: Xiaomu
A100\H100 は基本的に中国本土ではますます少なくなっており、現在 A800 が H800 に取って代わりつつあります。本当に A100\A800\H100\H800GPU が必要な場合は、こだわりを持たないことをお勧めします。ほとんどのユーザーにとって、HGX と HGX の違いはPCIE版はありません。 非常に大きいので、在庫があればすぐに購入できます。
いずれの場合でも、協力する正規のブランドメーカーを選択してください。需要と供給のバランスが崩れている現在の市場状況では、市場のほとんどの販売業者は真実ではない情報を提供することさえできません。科学研究サーバーであれば、Fenghu Yunlong Scientific研究サーバーは第一選択であり、マイニング、品質、アフターサービスが保証されています。
チェンマネージャー【173-1639-1579】とのコミュニケーションを歓迎します
機械学習、深層学習、強化学習の関係と違いは何ですか? - Zhihu (zhihu.com)主な応用分野と人工知能 (AI) の 3 つの形式:弱い人工知能、強い人工知能、超人工知能。ハードウェア サーバーを購入するのとクラウド サーバーをレンタルするのは費用対効果が高くなりますか? - Zhihu (zhihu.com) 深層学習機械学習の知識ポイントの包括的なまとめ - Zhihu (zhihu.com) 独習機械学習、深層学習、人工知能の Web サイトはこちら - Zhihu (zhihu.com) 2023 深層学習 GPU 推奨サーバー構成のリファレンス (3) - Zhihu (zhihu.com)
編集を中央に切り替え
長年科学計算サーバーに注力しており、政治マイニング プラットフォームの最終候補に挙げられた H100、A100、H800、A800、RTX6000 Ada、シングル デュアル ソケット 192 コア サーバーが販売されています。
編集を中央に切り替え
画像の注釈を追加します (140 ワード以内) (オプション)
長年科学コンピューティング サーバーに注力しており、政治マイニング プラットフォームの最終候補に挙げられた、H100、A100、H800、A800、RTX6000 Ada のシングル デュアル ソケット 192 コア サーバーが販売されています。