2023 年、生成 AI の革新的な力は世界中で加速しており、画像やビデオの生成、人間とコンピューターの対話などの分野での革新的な実践を通じて、その強力な能力が世界中に実証されています。しかし、生成型 AI を実装する過程で、企業は十分なコンピューティング能力の不足や大規模なモデルのトレーニングを完了するのが難しいなどの問題に遭遇することが多く、これが生成型 AI の商用実装の最後の障壁となっています。
re:Invent 2023 カンファレンスでは、Amazon クラウドテクノロジーは、エンタープライズレベルの生成 AI のコンピューティング能力の問題点からスタートし、強力でエネルギー消費量の少ない Amazon Graviton4 や高性能の Amazon Trainium2 など、多数の新しいハードウェアチップをリリースしました。プロセッサ、モデルトレーニング、仮想化システムアーキテクチャ、スーパーコンピューティングなどの多分野をカバーし、その強力な力で生成AI開発のインフラ革新を導入し、エンタープライズレベルの新時代の幕を開けた。生成AI。
新世代の自社開発プロセッサ チップAmazon Graviton4
より強力なパフォーマンス インスタンスを実現する
生成 AI の実装は強力なコンピューティング能力と切り離すことができず、プロセッサ チップは当然のことながらコンピューティング能力の主な供給源の 1 つです。 Amazon Graviton 3 と比較して、Amazon Cloud Technology によってリリースされた最新のプロセッサ チップである Amazon Graviton 4 は、処理速度が 30% 高速になり、コア数が 50% 増加し、メモリ帯域幅が 75% 増加し、高速化できます。データベース アプリケーションが 40% 向上し、大規模な Java アプリケーションの処理速度が 45% 向上します。
アマゾン・グラビトン4
コアに関しては、Amazon Graviton4 は ARM v9 アーキテクチャに基づく「Demeter」 Neoverse V2 コアを使用し、Amazon Graviton3 は「Zeus」 V1 コアを使用します。 V2 コアのクロック サイクルあたりの命令数は V1 より 13% 増加しています。Amazon Graviton コアの数の増加により、最終的なパフォーマンスは 30% 向上しました (同時に、ワットあたりのパフォーマンスは基本的にAmazon Graviton と同じ 3)。
コア数の点では、Amazon Graviton4 キットには 96 個の V2 コアがあり、これは Amazon Graviton3 および Amazon Graviton3E より 50% 多くなります。
メモリコントローラーに関しては、Amazon Graviton4 には 12 個の DDR5 コントローラーがパッケージされていますが、Amazon Graviton3 には以前は 8 個の DDR5 メモリコントローラーしかありませんでした。さらに、Amazon Graviton4 で使用される DDR5 メモリも 16.7% 高速になり、5.6 GHz に達します。要約すると、Amazon Graviton4 のソケットあたりのメモリ帯域幅は 536.7 GB/秒で、これは以前の Amazon Graviton3 および Amazon Graviton3E プロセッサの 307.2 GB/秒より 75% 高くなります。 Amazon Graviton 4 は現在、最新の R8g インスタンスでプレビュー版として利用可能で、R7g と比較して 3 倍の vCPU とメモリを備えています。
Amazon 過去の世代の Graviton チップの比較 (左から右、第 1 世代から第 4 世代まで)
同時に、Amazon Graviton プロセッサーの全範囲が ARM アーキテクチャを採用しているため、x86 Amazon クラウドテクノロジーに基づく同様のインスタンスと比較して、Amazon Graviton チップを使用する Amazon EC2 インスタンスのコストを最大 20% 削減できます。 、同じパフォーマンスを達成しながら最大 60% のエネルギーを節約できます。
現在、150 の Amazon Cloud Technology コンピューティング インスタンス タイプで Amazon Graviton プロセッサが使用されており、上位 100 の顧客を含む 50,000 を超える顧客がこれらのインスタンスを使用しています。 Amazon Graviton4 の発売により、Amazon Graviton プロセッサ チップに基づくインスタンスのパフォーマンスがさらに向上し、企業がよりコスト効率の高いコンピューティング パワーを獲得できるようになります。
新世代のトレーニングチップ Amazon Trainium2
大規模なモデルのトレーニングの効率を向上させる
一方で、多くの企業は独自の大規模な生成 AI モデルのトレーニングを開始しており、現時点では専用のモデル トレーニング チップが必要であることがわかります。 Amazon Trainium2 は、Amazon Cloud Technology によってリリースされた新世代のトレーニング チップであり、大規模モデルのトレーニング用に特別に最適化されています。前世代のチップと比較して、性能は4倍、メモリ容量は3倍、エネルギー効率は2倍に向上しました。
以前、Amazon Cloud Technology は、大規模モデルのトレーニングに特別に使用されるチップである Amazon Trainium を発売しました。 Amazon Trainium の Amazon EC2 Trn1 インスタンスを使用し、テストに BERT-Large モデルを使用すると、Amazon Cloud Technology の P4d インスタンスを単一ノードから 16 ノードクラスターに拡張するプロセスと比較して、P4d クラスターと比較してトレーニングのスループットが向上します。これは 1.2 ～ 1.5 倍に達し、100 万シーケンスあたりのトレーニング コストは、同規模の P4d クラスターの約 40% にすぎません。 Amazon Trainium2 のリリースにより、Amazon Cloud Technology の最新の Amazon EC2 Trn2 トレーニング インスタンスのパフォーマンスがさらに強化され、顧客はわずか数週間で 3,000 億のパラメータを持つ大規模モデルをトレーニングできるようになり、生成 AI の時代が加速します。
Trn1 と同様のインスタンス間のスループットとコストの比較
現在、生成 AI ユニコーン企業である Anthropic は、Amazon Trainium2 チップを使用して自社の生成 AI 製品 Claude をトレーニングすることを計画しています。
アマゾン ニトロ
仮想化の再定義
システム アーキテクチャの設計も、エンタープライズ レベルの生成 AI の実装における大きな困難です。なぜなら、コンピューティング能力の需要が増加し続けるにつれて、インスタンス内の GPU やその他のチップの数が徐々に増加し、チップの接続やタスクのスケジュール設定などのさまざまな面で大量のシステム リソースが消費されるため、システム パフォーマンスの向上は困難になります。限界効果: 現時点では、仮想化が選択肢になります。
Amazon Cloud Technology の Amazon Nitro システムは、新世代の Amazon EC2 インスタンスの基本プラットフォームです。専用の Amazon Nitro チップ カードを通じて、 CPU、ストレージ、ネットワーキング、管理などの機能を専用のハードウェアとソフトウェアに移行できるため、サーバーのほぼすべてのリソースがインスタンスに使用され、リソースの使用率が向上し、コストが削減されます。
Amazon Nitro システムには、システム リソースの約 30% を占有する従来のハイパーバイザーと比較して、システム リソースの占有量が 1% 未満である非常に軽量なハイパーバイザーが含まれています。このように、仮想化機能をサーバーからAmazon Cloud Technologyが独自に開発したAmazon Nitro専用チップ上で動作させることで、仮想化による物理サーバーのパフォーマンス損失を最小限に抑えます。
同時に、Amazon Nitro はハードウェアレベルのセキュリティメカニズムを提供できます。 Amazon Nitro セキュリティ チップは、ユーザーの Amazon EC2 インスタンスの書き込み操作を基盤となるハードウェアに分離するため、ユーザーのデータを適切に保護できます。さらに、さまざまな Amazon Nitro ネットワーク カードとメモリ カードを通じて、ストレージ仮想化、ネットワーク I/O 仮想化、サーバー ハードウェアの更新の繰り返しを分離して、I/O パフォーマンスを確保できます。
現在、Amazon Nitro システムは第 5 世代まで発展し、ネットワーク パフォーマンスは 100Gbps まで向上しています。 Amazon Nitro の助けを借りて、ユーザーは Amazon EC2 インスタンスの運用と管理のセキュリティと安定性を向上させることができます。これは、Amazon EC2 インスタンスの設計をより柔軟にすることができ、最も重要なことに、仮想化自体によって引き起こされるシステムのオーバーヘッドをほぼ完全に排除できることを意味します。 . により、システム リソースをワークロードに完全に使用できるようになり、コンピューティング電力の使用効率が向上します。
NVIDIA X Amazon クラウド テクノロジー
「クラウド上で最も強力なスーパーコンピューター」を作成する
最後に、Amazon クラウド テクノロジー、NVIDIA スーパーコンピューティングを通じて実装されたエンタープライズレベルの生成 AI の実践例を見てみましょう。 Amazon Nitro と Amazon EFA に基づいて、16,384 個の Nvidia GH200 チップを接続して人工知能ファクトリー「Nvidia DGX Cloud」にすることができます。
これは、65 エクサフロップスの計算能力を提供できる巨大な仮想化 GPU クラスターと見なすことができます (世界ナンバーワンのスーパーコンピューターであるフロンティアの計算能力は約 1.1 エクサフロップスです)。NVIDIA Grace を搭載した世界初のスーパーチップとなります。 Hopper. そして、Amazon Cloud Technology のスケーラブルな UltraCluster は世界最速のクラウド AI スーパーコンピューターであり、NVIDIA はこれを NVIDIA AI の研究開発とカスタム モデルの開発に使用する予定です。
他の企業も、これを参考として Amazon Nitro を使用し、独自の生成 AI デマンド アプリケーションを実装する自社のニーズを満たす特定レベルのコンピューティング能力を持つ仮想化クラスターを構築できます。
世界最大のクラウド サービス プロバイダーである Amazon Cloud Technology は、世界中にインフラストラクチャを展開し、さまざまなハードウェアとインスタンスを通じて企業顧客のさまざまなニーズを満たすことができます。この re:Invent 2023 カンファレンスでは、Amazon Cloud Technology によって開始されたハードウェア、チップ、その他のインフラストラクチャの革新により、インフラストラクチャのパフォーマンスがさらに向上し、コンピューティング能力の観点からクラウドコンピューティングを再構築し、企業ユーザーを迅速に支援できると考えられています。生成 AI の登場、新時代。
[原文を読む] をクリックしてください。Amazon Cloud Technology re:Invent 2023 のすべてのホットリリースを 1 つのリンクですばやく確認できます。
Shenyao の Technology Observation は、シニア テクノロジー メディア担当者である Shensky によって設立されました。彼はエンタープライズ レベルのテクノロジー コンテンツ コミュニケーションで 20 年の経験があり、産業用インターネット、企業のデジタル化、ICT インフラストラクチャ、自動車技術、およびその他の内容。
