ある人はかつて、データが人工知能開発の上限を決定すると言いました。私はそれを当然のことだと思っています。
ChatGPT などの AIGC アプリケーションによって実証される強力な機能により、人々は汎用人工知能の特異点が近づいていることを認識し、ますます多くの企業がこの分野に参入し始めています。AIGC の波が世界を席巻する中、業界ではデータの重要性がますます認識されています。
これには 2 つの重要な理由があります: 1 つは、アルゴリズムのパフォーマンス、汎化能力、適用効果を決定する高品質データが AIGC アプリケーションの中核であること、2 つ目は、データ関連の「保存、管理、使用、ブロードキャスト」は徐々に AIGC 開発のボトルネックになってきており、これを打開するには高レベルのインフラストラクチャが緊急に必要とされています。
過去 10 年間のディープラーニングの急速な発展により、ヘテロジニアス コンピューティング パワーの役割と価値が高く評価されたと言えます。今後 10 年間は、データ ストレージの変革が高品質データ開発の深さを決定します。 。
AIGC市場の発展傾向は何ですか
大型モデルが示す強力な機能と強力な多用途性により、オフィス、会議、対話、検索、広告、その他のコンテンツ生成の分野で AIGC アプリケーションが登場することが可能になりました。現在、AIGC と大型モデルの動向は非常に活発で、中国市場だけでも数百の大型モデルが登場しています。それでは、ビッグモデルとAIGC市場の今後の発展動向はどうなるのでしょうか？
インタラクティブなエクスペリエンスのアップグレード、コスト削減と効率向上に対する大きな需要により、AIGC や大型モデルが垂直産業に広く参入するのは抗しがたい傾向であることは疑いの余地がありません。Gartner は、2032 年までに生成人工知能の市場規模は 2,000 億米ドルに達すると予測しており、金融、教育、医療、産業などの分野での幅広い応用が期待されています。
CICCの研究部門は、将来の大型モデル市場はアイスクリームコーンのようなクラウドコンピューティング市場に似ていると判断しており、同様に機能し、底部のボディは広範囲をカバーする汎用の大型モデルを表している。パブリック クラウド市場のカバー範囲と同様に、ロングテール市場の範囲をカバーします。
明らかに、業界の垂直型大規模モデルの大きな可能性を認識する業界ユーザーが増えています。これらの基幹産業は、シナリオが豊富で業務データ量が膨大であり、コスト削減や効率化の要求が強いことに加え、ユーザー自体もプライベートクラウドのヘビーユーザーであり、データセキュリティやデータセキュリティを重視しており、局所的な展開が可能であり、大規模な垂直モデルを必要とするため、非常に強力です。
「現在、大型モデルと AIGC 市場はまだ初期段階にあります。しかし、AIGC は業界全体のアプリケーションにとって変革的なものであり、すべての業界が AIGC によってもたらされる変化に適応する必要があります。これにより、間違いなく、継続的で膨大なデータが生成されます。今後 5 ～ 10 年はストレージ要件が必要になるだろう」と、Inspur Information のチーフ アーキテクトである Ye Yului 氏は判断しました。
AIGC データ ストレージの課題は何ですか?
今年 4 月、OpenAI CEO のサム アルトマンは、大規模モデルのパラメータ数を増やすことは、もはや大規模モデルの機能を向上させる最も効果的な手段ではなく、大規模で高品質なデータと効率的なデータが重要であると考えました。加工技術が鍵となります。実際、OpenAI GPT-5 以降、マルチモダリティは大規模モデルの次の段階の重要な進化方向とみなされています。
マルチモーダル大規模モデルとは、テキスト データに加えて、オーディオ データやビデオ データも追加されることを意味します。これにより、AIGC のデータ特性は、大量のデータ、複雑なマルチデータ タイプ、多様なサービス契約、厳しいパフォーマンス要件、およびオンラインでの継続的なサービス要件は、非常に複雑なデータ ストレージの一連の課題をもたらします。
Inspur Distributed Storage のゼネラルマネージャーである Jiang Leguo 氏は、現在の AIGC アプリケーションの背後には、業界の上流と下流からデータを収集、ラベル付け、トレーニング、推論、アーカイブする必要があり、それが異種混合ストレージの統合をもたらしたと考えています。データ、継続的な低遅延と高帯域幅、EB レベルの大容量ストレージ要件を含む 3 つの重要な課題。
1 つ目は、異種データの融合です。大規模なモデルのトレーニング データでは、複数のソースと形式によるマルチソースの異種混合状況が発生し、単一のデータ タイプ用に設計された従来のストレージにとって大きな課題となります。この従来のモデルの欠点は、データ プラットフォーム上のさまざまなデータ型のさまざまなパフォーマンス要件を満たすことが難しいことです。収集、ラベル付け、トレーニング、推論に至る大規模モデルのデータ ストレージ パイプライン全体で、データのコピーが必要になることです。データ処理効率が低く、AIGC アプリケーションの処理要件を満たすことができません。
「従来のストレージは、データを移動することでマルチプロトコル アクセスを実現する必要がありますが、これが AIGC アプリケーション プラットフォームの主要なボトルネックです。異種データのマルチプロトコル融合をサポートすることが、この課題を解決する鍵となるでしょう。」と Jiang Leguo 氏は率直に述べました。
2 つ目は、持続的な低遅延と高帯域幅です。大規模なモデルのトレーニング中は、データセットからトークンを頻繁に取得する必要があります。ただし、各トークンは通常 4 バイトしかないため、パフォーマンスを確保するために非常に低いレイテンシーを必要とする大量のリアルタイムの同時実行性の小さな IO が発生します。さらに、大規模なモデルでは、モデルのチェックポイントを保存するときに高速データをサポートするために高帯域幅が必要です。
「大規模なモデルのトレーニング中は、通常、数千の GPU ブロックが使用されます。特定のカードに障害が発生したり、問題が発生したりするのは正常です。障害が発生した場合は、モデルを再起動し、スタンバイ ノードに置き換える必要があります。スタンバイ ノード CheckPoint 「高速なデータ書き込みを実現するには、高帯域幅のストレージが必要です。そうしないと、GPU コンピューティング パワー リソースが簡単に無駄になってしまいます。」と Inspur Information の AI アーキテクト、Yang Xin 氏は紹介しました。
3つ目はEBレベルの大容量ストレージの需要です。大規模なモデルに供給されるデータが多いほど、結果の精度が高くなるという動作原理により、大規模なモデルのトレーニングには、多数の深層学習ネットワーク層、多数の接続、複雑なパラメーターとデータセット、および大量のデータの特性があることが決まります。モデルパラメータとデータとして データ量の急速な増加に伴い、大規模なストレージ容量と拡張の需要も差し迫っています。
「たとえば、Inspur Information のソース 1.0 の大規模モデル自体は、オーディオ データとビデオ データを追加した後、継続的なトレーニング後に数百ペタバイトのデータ スケールに達しました。」と Jiang Leguo 氏は紹介しました。容量とパフォーマンスの要件 需要は今後も拡大し続けるため、非常に優れた容量とパフォーマンスを備えたストレージ機能が求められます。」
Ye Yului 氏は、AIGC には収集、ラベル付け、トレーニング、推論、アーカイブを含むデータ処理の長いプロセスが含まれており、段階ごとにパフォーマンス、遅延、データ セキュリティに関する要件が異なると述べました。AIGC は産業変革の観点から、データ ストレージ業界の全面的な技術高度化を推進しており、プロフェッショナル向けの AIGC ストレージ製品およびソリューションの需要は今後大幅に増加すると考えられます。
Inspur ストレージにより AIGC が重要になります
データ ストレージが AIGC アプリケーションの基盤である場合、この基盤の深さと品質が AIGC アプリケーションの多用途性と効率性を決定します。AIGC アプリケーションの効率が向上し拡大し続けると、垂直産業の生産性が質的な変化をもたらすことが期待されることも意味します。
現在、市場には AIGC 専用のストレージ ソリューションはあまりなく、特に検証済みのストレージ ソリューションはほとんどありません。Inspur Information は、対応するソリューションを市場に投入した最初のメーカーです。AS13000 コンバージド ストレージのセットを使用して、生成 AI のフルステージ アプリケーションをサポートしています。マルチモダリティおよびフルモダリティのためのコードと大規模なモデルの要件があります。
Inspur Information AS13000 は、フルフラッシュ、ミックスフラッシュ、テープライブラリ、光ディスクの 4 種類のメディアを提供し、ファイル、オブジェクト、ビッグデータ、ビデオ、ブロックプロトコルをサポートし、大容量、マルチプロトコルに対応できると報告されています。共有、100 万 IOPS 以上、100 GB 以上の帯域幅、コールド データの長期保存とアーカイブ。「Inspur Information の AIGC ストレージ ソリューションは、すでに Inspur Information Source 1.0 の大規模モデルや他の AI 企業の大規模モデルのトレーニングをサポートしています。」と Jiang Leguo 氏は述べています。
Inspur が開示した情報から判断すると、AS13000 は、従来のストレージ ソリューションとデバイスの共存によって引き起こされるさまざまな複雑さ、低いデータ処理効率、およびデータ アイランドを効果的に回避し、AIGC が大量のデータのボトルネックを突破して高速化する上で大いに役立ちます。データ値の解放。
Jiang Leguo 氏は、Inspur の情報生成 AI ストレージ ソリューションには 4 つの大きな特徴があると紹介しました。それは、極端な統合、極端なパフォーマンス、極端な省エネルギー、ホット、ウォーム、コールドの 4 レベルのフルライフサイクル ストレージ管理です。
1つ目は、極端な統合です。1 つのクラスターは複数のストレージ プールをサポートし、1 つのストレージ プールはテキスト、画像、オーディオ、ビデオなどの複数のタイプのデータ ストレージをサポートし、1 つのデータをさまざまなフロントエンド ビジネス シナリオに合わせてファイルの形式で並行して保存できます。オブジェクト、ビッグデータ、ビデオへのアクセス。マルチモーダル大規模モデル シナリオのデータ ストレージ要件を完全に満たし、アプリケーション間のリアルタイム データ共有とストレージ スペースの最適化を実現します。
2つ目は、究極のパフォーマンスです。AIGC はパフォーマンスの飛躍的な向上をもたらし、将来的には大帯域幅と高 IOPS がビジネス要件の標準構成になるでしょう。この点において、Inspur Information のソリューションは、アーキテクチャ、ハードウェア、主要テクノロジー、IO パスの最適化などのさまざまな手段を通じてストレージのパフォーマンスを完全に解放することです。
「たとえば、NC 分離アーキテクチャは東から西へのデータ転送量を削減できます。GDS と RMDA テクノロジは I/O パスを短縮でき、SPDK とキャッシュ ゼロコピー テクノロジは I/O 上のデータ コピーを効果的に削減できます。 O パス; 自社開発の NVMe ベース SSD が開発したディスク制御コラボレーション技術により、SSD ディスクへの I/O アクセス数が削減され、パフォーマンスがさらに向上します。」と Jiang Leguo 氏は付け加えました。 -フラッシュは 50GB/s を超え、IOPS は 500,000 を超えます。デュアル制御フルフラッシュ ノード、帯域幅は 100GB/s を超え、IOPS は 100 万を超えます。
ソース 1.0 の大規模モデルを例にとると、AS13000 並列ストレージのサポートにより、2128 GPU クラスターでのトレーニングを完了するのに 16 日かかり、計算電力効率は 45% に達し、MT-NLG などの国際的に有名なモデルをはるかに上回りました。そしてGPT-3。
3つ目は、徹底した省エネです。関連データによると、2025 年までに我が国の AI コンピューティング能力の合計は 1800EFlops を超え、AI コンピューティング能力が総コンピューティング能力の 85% 以上を占めると予測されており、課題はエネルギーの節約と排出量の削減です。このため、Inspur Information の最新の G7 ハードウェア プラットフォームでは、ストレージ専用の水冷サーバーがパフォーマンスと容量のタイプをカバーし、すべてモジュラー コールド プレート コンポーネント設計モードを採用しており、Inspur Information は完全な気液型、フル-液体タイプなどのエンドツーエンドのソリューション。
最後は、エンドツーエンドの完全なライフサイクル管理です。Inspur の情報生成 AI ストレージ ソリューションは、フラッシュ メモリ、ディスク、テープ、光ディスクの 4 つのメディアを使用して、ホット、ウォーム、コールドの 4 種類のストレージ リソースを提供し、リソースの相互通信とデータ ライフサイクル管理を実現します。さらに、4 種類のメディアと 4 種類のストレージ ノードにより、さまざまなアプリケーションの柔軟な構成要件を満たす自動加熱、温度、冷蔵ストレージが提供され、全体的な投資がさらに削減されます。
「現時点では、市場で完全なエンドツーエンドのサポート プラットフォームを構築できるユーザーはまだ少数です。ほとんどのユーザーは、プラットフォームを迅速に構築できるようにサポートするパッケージ ソリューションを望んでいます。Inspur Information 自体には、これまでの経験があります。」 「AI ストレージ ソリューションは、優れた経験と実践を市場に迅速に輸出し、AIGC 業界の発展をより良く促進します。」と Jiang Leguo 氏は結論付けました。