2023 年 10 月 30 日から 11 月 1 日まで、SoCC 2023 は米国カリフォルニア州サンタクルーズで開催されます。Bytedance インフラストラクチャ組織およびスケジューリング チームの研究結果はS o CC 2023 に受け入れられ、現地レポートを行うよう招待されました。
SoCCカンファレンスの正式名称は、Annual ACM Symposium on Cloud Computing (クラウドコンピューティングに関する年次 ACM シンポジウム) であり、クラウド コンピューティングの分野におけるトップカンファレンスの 1 つであり、すべての ACM カンファレンスの中で唯一、SIGMOD と SIGOPS の両方が後援するトップカンファレンスでもあります。これは、学界、産業界、オープンソース コミュニティにおけるクラウド コンピューティングの現在の最先端レベルを表しています。SoCCカンファレンスはクラウドコンピューティングの台頭とともに設立され、今回で14回目の開催となる。このカンファレンスには、世界トップクラスの研究機関や著名な大企業から毎年参加者が集まり、システムの革新性、完全性、有効性に対する高い要求が求められます。今年の会議論文の採択率はわずか 30% です。
ゲーデル: ByteDance における統合された大規模リソース管理とスケジューリング
Gödel は、大規模なクラウドネイティブ インフラストラクチャ管理のために ByteDance のインフラストラクチャ オーケストレーションおよびスケジューリング チームによって独自に開発されたオフライン統合スケジューリング システムです。
過去数年間の ByteDance のビジネス ラインの急速な発展により、コンピューティング リソースの需要が増加しています。データ センターの継続的な拡張とコンピューティング リソースに対する差別化された需要の中で、ネイティブの Kubernetes スケジューラは、さまざまなオフライン ビジネス ロードを統合します。ホスティングと統合されたリソースの運用により、挑戦の連続。
これに関連して、Gödel スケジューリング システムが誕生しました。Kubernetes ネイティブ スケジューラーと比較して、クラスター環境で機械学習ワークロードのさまざまなオフラインおよび混合スケジューリングを同時にサポートでき、高いスループット (最大 10 倍) と高いスループットを備えています。弾力性 (1 分未満のリソース転送) や高いリソース使用率 (最大 60%) などの機能により、ハイブリッド展開やリソース プーリングなど、Byte のさまざまなビジネスの展開要件をより適切に満たします。さまざまな種類のビジネス負荷の SLA 要件を満たしながら、コンピューティング クラスター リソースの統合運用のための共通プラットフォームを提供することで、Byte Data Center のリソース使用率とタスクの柔軟性を向上させ、コストの削減と効率の向上という目的を達成します。
ゲーデル氏の論文とフィールドレポートは、10月末のSoCC 2023で正式に発表される予定です。それまでに、ByteDance インフラストラクチャ チームもこの論文の対応する解釈記事を公開する予定ですので、ご期待ください。