(2023 年 10 月 19 日、北京) Alluxio は、さまざまなデータ駆動型ワークロードをホストするデータ プラットフォーム企業として、人工知能 (AI) と機械学習のニーズを満たすように設計された新しい Alluxio Enterprise AI 高性能データ プラットフォームを開始しました(ML) 負荷により、エンタープライズ データ インフラストラクチャに対する要求が増大しています。Alluxio Enterprise AI プラットフォームは、エンタープライズ AI と分析インフラストラクチャのパフォーマンス、データ アクセシビリティ、スケーラビリティ、費用対効果を包括的に最適化し、生成 AI、コンピュータ ビジョン、自然言語処理、大規模言語モデル、高性能データ分析を強化します。データ集約型アプリケーションの世代。
競争力を維持し、競合他社に差をつけるために、企業はデータと AI インフラストラクチャの最新化に懸命に取り組んでいます。その過程で、起業家たちは、従来のデータ インフラストラクチャではもはや次世代のデータ集約型 AI ワークロードのニーズに対応できないことにも気づきました。AI プロジェクトの推進においてしばしば遭遇するさまざまな課題 (低パフォーマンス、劣悪なデータ アクセシビリティ、GPU 不足、複雑なデータ エンジニアリング、リソースの活用不足など) は、企業がデータ価値を獲得することを深刻に妨げています。Gartner ® の調査によると、「実用的な AI の価値は、企業のさまざまな環境で迅速に開発、展開、調整、維持できる能力にあります。エンジニアリングの複雑さとより迅速な市場対応の要件を考慮して、より柔軟な AI エンジニアリング データを開発する必要があります」 「2026 年までに、AI エンジニアリングを使用して適応型 AI システムを構築および管理する企業は、AI モデルの操作性において競合他社を少なくとも 25% 上回るでしょう。」
Alluxio の創設者兼 CEO である Li Haoyuan 氏は、「Alluxio は最先端のビッグデータと AI プラットフォームを使用して、世界の大手企業の顧客に力を与えています。本日、当社はさらに大きな一歩を踏み出しました。」「Alluxio Enterprise AI は顧客に効率的な AI ソリューションを提供します」と述べました。将来のビジネス リーダーは、革新的な AI を活用してデータドリブンを推進し、最新テクノロジーを通じて AI インフラストラクチャを構築および維持し、超高性能、シームレスなアクセス、利便性を実現する方法を知ることができます。管理。"
この新バージョンのリリース後、Alluxio は分析と AI の多様なニーズに完全に応えるために、1 つの製品から 2 つの製品ポートフォリオ (Alluxio Enterprise AI と Alluxio Enterprise Data) に拡張されました。新しい製品である Alluxio Enterprise AI は、Alluxio Enterprise Edition によって長年蓄積された分散システムの経験に基づいて構築されており、AI/ML ワークロードに最適化された新しいアーキテクチャを採用しています。Alluxio Enterprise Data は、ビッグ データの方向 (Alluxio Enterprise AI と並行) における Alluxio Enterprise Edition の次世代バージョンであり、今後も分析ワークロードに重点を置く企業にとって理想的な選択肢となります。
エンドツーエンドの機械学習ワークフローを加速する
Alluxio Enterprise AI を使用すると、企業の AI インフラストラクチャを既存のデータ レイク上で高性能、シームレスなデータ アクセス、拡張性、コスト効率を備えて実行できるようになります。これは、データおよび AI 分野のリーダーや実務者が AI プロジェクトの 4 つの主要な目標を達成するのに役立ちます。
- ビジネス成果を迅速に生み出すための高性能モデルのトレーニングと導入。
- リージョンおよびクラウド ワークロード全体でのデータへのシームレスなアクセス。
- 無限に拡張でき、インターネット大手によって内部で厳密にテストされています。
- 高価な専用ストレージを使用する必要はなく、既存のテクノロジー スタック上に導入して投資収益率を最大化できます。
企業が Alluxio Enterprise AI を使用すると、商用サービスを提供するオブジェクト ストレージを使用する場合と比較して最大 20 倍のトレーニング速度、最大 10 倍のモデル サービスの速度、90% 以上の GPU 使用率、および AI インフラストラクチャのコスト削減が達成されることが期待されます。 90%まで。
Alluxio Enterprise AI は、分散メタデータを備えた分散システム アーキテクチャを備えており、大量の小さなファイル (AI ワークロードで一般的) にアクセスする際のパフォーマンスのボトルネックを排除します。ファイルのサイズや数に関係なく、従来のアーキテクチャを超えた無制限の拡張性が保証されます。従来の分析とは異なり、分散キャッシュは AI ワークロードの I/O パターンに合わせて調整されています。さらに、分析ワークロードと、データの取り込みから ETL (抽出、変換、ロード)、前処理、トレーニング、提供までの完全な機械学習ワークフローがサポートされています。
Alluxio Enterprise AI には、次の主要な機能が含まれています。
- 高パフォーマンスのモデル トレーニングとモデル サービス- Alluxio Enterprise AI は、既存のデータ レイクでのエンタープライズ モデルのトレーニングとサービスのパフォーマンスを大幅に向上させます。モデル トレーニング用の強化された API セットにより、市販のオブジェクト ストレージよりも 20 倍優れたパフォーマンスが可能になります。モデルの提供に関して、Alluxio は超高同時実行性を提供し、オンライン推論用のオフライン トレーニング クラスター内のモデルを使用する場合に最大 10 倍の高速化を実現します。
- AI ワークロード I/O パターンのためのインテリジェントな分散キャッシュ- Alluxio Enterprise AI の分散キャッシュ機能により、AI エンジンは低速なデータ レイク ストレージではなく、高性能の Alluxio キャッシュを通じてデータの読み取りと書き込みを行うことができます。Alluxio のインテリジェントなキャッシュ戦略は、大きなファイルへのシーケンシャル アクセス、大きなファイルへのランダム アクセス、大量の小さなファイルへのアクセスなど、AI エンジンの I/O パターンに合わせて特別に調整されています。この最適化により、データを大量に消費する GPU が高スループットと低遅延を実現できるようになります。トレーニング クラスターは、高性能分散キャッシュからデータを継続的に取得し、90% 以上の GPU 使用率を達成できます。
- オンプレミス環境とクラウド環境にわたる AI ワークロードへのシームレスなデータ アクセス - Alluxio Enterprise AI は、さまざまなインフラストラクチャ環境にわたる AI ワークロードを簡単に管理するための統合管理インターフェイスを企業に提供します。この製品は、機械学習ワークフローに真のデータ ソースを提供し、大規模なエンタープライズ データ レイク サイロのボトルネックを本質的に排除します。標準データ アクセス レイヤーである Alluxio Enterprise AI を通じて、企業はさまざまなビジネス ユニットや地域間でデータをシームレスに共有できます。
- 大規模で厳密にテストされた新しい分散システム アーキテクチャ- Alluxio Enterprise AI プラットフォームは、革新的な分散アーキテクチャ DORA (Decentralized Object Repository Architecture) 上に構築されています。このアーキテクチャは、AI ワークロードに無限にスケーラブルな基盤を提供し、AI プラットフォームが Amazon S3 などの商用オブジェクト ストレージを通じて最大 1,000 億のオブジェクトを処理できるようにします。新しいアーキテクチャは、分散システムにおける Alluxio の実証済みの専門知識を活用して、システムのスケーラビリティ、メタデータ管理、高可用性、パフォーマンスの増大する課題に対処します。
Enterprise Strategy Group のアナリスト、マイク レオーネ氏は、「組織がビジネス全体で AI の利用を拡大するにつれ、次世代ワークロードのパフォーマンス、コスト、GPU 使用率を最適化することが重要になるでしょう。Alluxio には、これらの優れた製品が真に役立つ独自の機能があります」と述べています。データ チームと AI チームは、より高いパフォーマンス、シームレスなデータ アクセス、モデル トレーニングとモデル サービスの便利な管理を実現します。」
「当社は Alluxio と緊密に連携しており、Allxuio プラットフォームは当社のデータ インフラストラクチャにとって不可欠です。Aanalytics は、エンタープライズ AI 向けの Alluxio の新しい分散システムに非常に興奮しており、新しい機能について楽観的です」と Aunalytics のアナリティクス クラウド エンジニアリング ディレクター、ロブ コリンズ氏は述べています。 AI 業界における大きな可能性を秘めた製品です。」
Zhihu データ プラットフォーム チームのソフトウェア エンジニア、Hu Mengyu 氏は、「社内でトレーニングされた大規模な言語モデルが当社の Q&A アプリケーションとレコメンデーション エンジンをサポートし、ユーザー エクスペリエンスとエンゲージメントを大幅に向上させています。当社の AI インフラストラクチャの中核には、Alluxio が組み込まれています。」と述べています。データ アクセス レイヤーとして Alluxio を使用した後、モデルのトレーニング パフォーマンスは 3 倍、デプロイメント パフォーマンスは 10 倍、GPU 使用率は 2 倍になりました。Alluxio のエンタープライズ AI プラットフォームは、新しい DORA アーキテクチャを使用して大規模な小さなファイルへのアクセスをサポートします。私たちは楽しみにしていますAI の波が到来している中、Alluxio の新製品により、AI アプリケーションのサポートにさらに自信が持てるようになりました。」
機械学習ワークフローに Alluxio をデプロイする
Gartner の 調査によると、データ アクセシビリティとデータ量/複雑さは、AI テクノロジーを適用する際に組織が直面する 3 つの主要な課題の 1 つです。Alluxio Enterprise AI は、AI コンピューティング エンジンとデータ レイク ストレージで構成される既存の AI インフラストラクチャに追加できます。Alluxio はコンピューティングとストレージの間のどこかに位置し、最大の速度と最適なコストを実現するために、機械学習ワークフローでのモデル トレーニングとモデル サービス全体で動作します。たとえば、PyTorch をトレーニングおよびサービスエンジンとして使用し、Amazon S3 を既存のデータレイクとして使用します。
- モデルのトレーニング:ユーザーがモデルをトレーニングすると、PyTorch データ ローダーは仮想ローカル パス /mnt/alluxio_fuse/training_datasets からデータセットをロードします。データローダーは、S3 から直接データをロードするのではなく、Alluxio キャッシュからデータをロードします。トレーニング プロセス中、キャッシュされたデータ セットは複数のエポックにわたって使用されるため、S3 へのアクセスによって全体的なトレーニング速度がボトルネックになることはなくなります。言い換えれば、Alluxio はデータの読み込みを短縮し、GPU のアイドル待機時間を排除し、GPU の使用率を向上させることでトレーニングを高速化します。モデルのトレーニングが完了すると、PyTorch は Alluxio を通じてモデル ファイルを S3 に書き込みます。
- モデル サービス:最新のトレーニング済みモデルを推論クラスターにデプロイする必要があります。複数の TorchServe インスタンスが S3 からモデル ファイルを同時に読み取ります。Alluxio は、これらの最新モデル ファイルを S3 からキャッシュし、低レイテンシーで推論クラスターに提供します。したがって、最新モデルが利用可能になるとすぐに、下流の AI アプリケーションはそれらを推論に使用できるようになります。
既存システムとのプラットフォーム統合
Alluxio を既存のプラットフォームと統合するために、ユーザーはコンピューティング エンジンとストレージ システムの間に Alluxio クラスターを展開できます。コンピューティング エンジン側では、Alluxio は PyTorch、Apache Spark、TensorFlow、Ray などの一般的な機械学習フレームワークとシームレスに統合できます。企業は、REST API、POSIX API、または S3 API を通じて Alluxio をこれらのコンピューティング フレームワークと統合できます。
ストレージ側では、Alluxio は任意の場所 (オンプレミス、クラウド、またはその両方) にあるあらゆるタイプのファイル システムまたはオブジェクト ストレージに接続できます。サポートされているストレージ システムには、OSS、COS、BOS、OBS、Amazon S3、Google GCS、Azure Blob Storage、MinIO、Ceph、HDFS などが含まれます。
Alluxio は、オンプレミス、クラウド、物理マシン、またはコンテナ化された環境で実行されます。サポートされているクラウド プラットフォームには、Alibaba Cloud、Tencent Cloud、Baidu Cloud、Huawei Cloud、AWS、GCP、Azure Cloud などが含まれます。
リソースをダウンロードする
Alluxio Enterprise AIのダウンロード リンク: https://www.alluxio.io/download/
AIインフラデー
西部時間 10 月 25 日の AI インフラ デーで、Alluxio は、新しくリリースされた Alluxio Enterprise AI プラットフォームを初めて公開デモンストレーションします。AI Infra Day は開発者向けのオンライン イベントで、主に高性能、スケーラブル、コスト効率の高い AI インフラストラクチャを構築する際の課題とさまざまなソリューションについて議論します。特別ゲストには、Wanchao Liang (Meta)、Sally (Mihyoung) Lee (Uber)、Fan Bin (Alluxio) が含まれます。イベントへの登録は現在受付中です: https://www.alluxio.io/ai-infra-day-2023/。
Alluxio について
Alluxio は、分析と AI 用の高性能データ プラットフォームの世界有数のプロバイダーであり、エンタープライズ AI 製品の価値実現を加速し、インフラストラクチャの投資収益率を最大化します。Alluxio データ プラットフォームはコンピューティング システムとストレージ システムの間に位置し、データ ワークフローのあらゆる段階でデータ プラットフォーム上のワークロードの統一されたビューを提供します。このプラットフォームは、データがどこに存在しても高性能のデータ アクセスを提供し、データ エンジニアリングを簡素化し、GPU 使用率を向上させ、クラウド コンピューティングとストレージのコストを削減します。企業は、専用ストレージを使用せずに、モデルのトレーニングとモデルの提供を大幅に加速し、既存のデータ レイク上に AI インフラストラクチャを構築できます。
Alluxio は有力投資家の支援を受けて、世界のテクノロジー、インターネット、金融、通信企業にサービスを提供しており、現在、世界のインターネット企業トップ 10 社のうち 9 社が Alluxio を使用しています。詳細については、 http://www.alluxio.com.cnをご覧 ください。