ApsaraMQ Serverless の進化により、企業のコスト削減が可能になります

作者: ジアゼ

ApsaraMQ は時代に遅れずに前進します

Alibaba Cloud Message Queue の誕生から 10 年以上が経過しました。今年、Alibaba Cloud のメッセージング製品は完全に ApsaraMQ のブランドとなり、時代に遅れずに前進しています。

2012 年にグループ内で RocketMQ が誕生し、淘宝網取引などの中核的なビジネスリンクに使用されました。同グループによる何年にもわたる 2 倍の 11 兆レベルのテストと安定性の磨き上げを経て、クラウドコンピューティングのインキュベーションとオープンソースコミュニティの協力に依存しています。2015 年、RocketMQ は Alibaba Cloud 上の企業向けに商用メッセージキューサービスを提供しました。その後、RocketMQ に基づいて、Kafka、RabbitMQ、MQTT、MNS などの商用製品を拡張し、より多くのシナリオニーズを持つ企業にサービスを提供することに尽力しています。

2017 年に、RocketMQ は Apache Foundation のトップレベルプロジェクトになりました。

2022 年には、RocketMQ5.0 が正式にリリースされ、完全にクラウドネイティブインフラストラクチャ上に構築され、クラウドインフラストラクチャのプーリング機能が完全にリリースされ、メッセージングの中核となる技術指標があらゆる側面で改善されます。イベントとストリームの処理に新たな改善が加えられました。メッセージ処理に関しては、メッセージモデルはキューモデルの上に構築されます。ビジネスはキューを考慮せずにメッセージのみを考慮できます。メッセージ消費モデルに基づいて、クライアント、接続、および消費はすべてステートレスであり、どのプロキシノードでもドリフトします。非常に軽量です。

2023 年には、すべての製品がサーバーレスになり、企業がメッセージキューの使用コストを削減できるように、非常に高速で柔軟性があり、コスト効率の高いクラウドメッセージキュー製品が企業に提供されます。

アプリケーションとデータの統合のための信頼できるメッセージチャネル

過去 10 年ほどを振り返ると、メッセージング製品は常にオープンソース、グループ、ビジネスの三位一体の開発思想を貫き、核となる進化と製品が同時に繰り返されてきました。過去 10 年間で、Alibaba Cloud はインターネット、小売、金融、自動車など 20 以上の業界をカバーする合計 10 万社にサービスを提供しており、大規模な生産慣行により製品の中核となる利点が蓄積され続けています。同時に、企業の需要に応え、製品マトリックスが充実し、多様なビジネスシナリオのニーズをカバーします。企業がクラウドに移行するためのより正確な製品選択を提供します。

RocketMQ は、4-9 の可用性と 9-9 のデータ信頼性により、マイクロサービスおよびアプリケーションの分野で広く使用されています。同時に、RocketMQ は、アプリケーションの複雑なビジネスニーズを満たすために、タイミング、シーケンス、およびトランザクションの多様性のあるメッセージタイプを提供します。
RabbitMQ は、メッセージングのオープンソースエコシステムの代表でもあります。商用 RabbitMQ は、柔軟な拡張や縮小、ブレインスプリット、スタッキングができないなど、オープンソース RabbitMQ の問題点を解決し、オープンソース RabbitMQ のクラウドへのシームレスな移行をサポートします。
Kafka はストリーミングストレージの代表であり、ビッグデータ/ログ処理のシナリオで広く使用されています。商用版は 3.3 より前のオープンソースバージョンと互換性があり、ストレージと計算の分離、高可用性の災害復旧、弾力性がより深く強化されています。オープンソースと比較すると、自己構築コストが低くなり、サービスの可用性が高くなります。
モノのインターネット/モバイルインターネットの最終シナリオでは、MQTT は数千万のリンクと数百万の同時サービスを提供し、オープンソースバージョンと比較して、MQTT サービスのバックエンドのエコロジカルな構築を強化し、データリンクを持続可能にします。
MNS は、AWS SQS/SNS に対してベンチマークされたメッセージング製品であり、軽量のメッセージキューを使用してシンプルなビジネス非同期通信シナリオをサポートし、軽量のイベント通知機能と SaaS 統合機能を提供します。

オープンソースをクラウドに移行する場合でも、新しいビジネスを構築する場合でも、ApsaraMQ 製品シリーズでは、ビジネスシナリオに適した信頼性の高いメッセージングミドルウェアをいつでも見つけることができます。近年、Alibaba Cloud メッセージングチームは、ストレージとコンピューティングの分離、マルチレベルのストレージと弾力性に多額の投資を行い、メッセージング製品をクラウドネイティブからサーバーレスに移行するためのアーキテクチャのアップグレードを実行しました。

クラウド製品はクラウドネイティブからサーバーレスに移行します

クラウドネイティブの本質は、クラウドコンピューティングの恩恵を最大限に発揮し、企業ビジネスのコスト削減と効率化を実現することです。クラウドネイティブ段階では、クラウドベンダーがフルマネージドのミドルウェアサービスを提供しており、オープンソース互換でありながら運用保守やビジュアルユーザーインターフェースを補完し、すぐに使える効果を実現しています。予約済みリソース: 年間および月額のサブスクリプション料金は企業向けです。

クラウドリソースの規模は拡大し続けるため、スケール効果により、企業は使用量に応じた支払いが可能になりますが、単一インスタンスには依然として規模の制限があり、突然のビジネストラフィックに対処することが困難になります。

クラウドネイティブの発展により、サーバーレスの考え方は常に強化されており、サーバーレス製品の実現も常に強化されています。サーバーレスは実装段階に達しました。企業は自社のビジネスロジックにのみ集中する必要があり、リソースやビジネストラフィックの使用には無関心です。

サーバーレス向けに設計されたクラウドメッセージングサービス

ユーザーの観点から見ると、サーバーレスメッセージングは、コスト、使いやすさ、安定性、環境に優しい統合の点で進化し続けています。

低コスト：

アーキテクチャのデカップリングにより、ネットワーク、コンピューティング、ストレージが分離され、クラウドネイティブネットワークとストレージの柔軟な機能を最大限に活用しながら、ネットワーク自体のコンピューティング機能が向上します。
製品のパフォーマンスを向上させ、製品自体のリソースの使用コストを削減すると同時に、SRE プラットフォームを構築して配信、アップグレード、拡張の自動化を実現し、配信コストと運用保守コストを削減します。
請求方法を最適化し、請求項目 (メッセージ量、ストレージ、ネットワーク) を分離することで、実際のリソース使用量に基づいて請求項目が支払われるようになり、これまでの固定請求項目によって生じた過剰な見積もりの無駄を削減します。

使いやすさ:クラウドへの移行後の利便性、信頼性、ロスレス性、コントロールプレーンの移行を主に考慮し、貴重なビジネスデータを提供し、企業がクラウド製品の使用状況を観察するのに役立つだけでなく、ビジネスの最適化の参考にもなります。

安定性：

企業がクラウド製品を使用する際の基本的な考慮事項は安定性であり、クラウド製品は安定して動作し、プロセスを監視でき、緊急時の計画はビジネス継続性の重要な保証となります。

生態学的統合:

メッセージング製品の豊富なエコシステムは、企業がビジネス開発を迅速に完了し、メッセージングの価値を高めるのに役立ちます。

ApsaraMQ コア製品のアップグレード

ApsaraMQ 製品の全製品はサーバーレスバージョンでリリースされており、RocketMQ、RabbitMQ、および MQTT サーバーレスバージョンのインスタンスのしきい値は 0 で、実際の使用量に基づいて課金されます。コンピューティングコストを最大 75% 削減でき、適応的弾力性により同時トラフィックは 10,000 QPS/秒に達することができ、ストレージと計算の分離とマルチレベルストレージアーキテクチャにより、メッセージストレージコストを最大 1/3 削減できます。

Kafka は 10 月末にバージョン 3.0 をリリースしました。コンピューティングノードはステートレスであり、ストレージとデータの可用性はクラウドストレージインフラストラクチャに移動されます。これにより、単一ディスクのスループットの制限、ストレージとコンピューティングの比率のバインド、およびビジネスに影響を与えるデータ移行の問題が解決されます。国境を越えた拡大と縮小、可用性ゾーンの高可用性パフォーマンスとその他の問題。単一インスタンスのトラフィックは数秒で GB の適応弾力性に達します。オープンソースや自社構築と比較して、コストは最大 20% 削減されます。

ストレージと計算の分離はサーバーレスメッセージングサービスの基礎です

アプリケーションの分離と同様に、コンピューティングとストレージが技術的に分離されると、コンピューティング層はビジネスロジックの定義と進化により重点を置くことができます。この方法によってのみ、量に応じた使用と需要に応じた適応的な柔軟性をより適切に実現できます。

システムアーキテクチャでは、メタデータ (ユーザーインスタンス関係、サブスクリプション関係、パラメーター構成など) が均一に管理され、ビジネスメッセージデータは、基本的なストレージ機能に基づいた専門的なストレージ機能によって完全に保護され、コンピューティング層を真にステートレスにします。

コンピューティング層は、複雑なデータ信頼性メカニズムをストレージ層にシンクします。

データ複製コストなどのコンピューティング層の複雑なロジックを削減し、パフォーマンスと安定性を向上させます。
クロス AZ ネットワークデータ送信の影響を軽減し、同時にネットワークスループットを低下させてネットワークの輻輳を回避します。
これにより、拡張および縮小時のデータ複製によって生じるリソースのオーバーヘッドとビジネスへの影響が軽減され、サービスの可用性が向上します。

ストレージ層は、Alibaba Cloud の基本機能を最大限に活用します。

Pangu DFS は複数のコピーと EC 戦略を使用して、非常に高いデータ信頼性を保証します。データを別のラックに分散します。安価なサーバーに障害が発生した場合でも、データのコピーを迅速に復元してデータのセキュリティを確保できます。この信頼性の保証により、データが失われないという保証が上位層に提供されます。これにより、メッセージデータの信頼性が高まり、データの安全性が高まります。Pangu DFS は、数百マイクロ秒レベルの平均レイテンシ、ミリ秒レベルのロングテールレイテンシ、および 200Gbps ネットワークの単一ストレージノードの IOPS 処理能力を備えたクロスデータセンターの災害復旧戦略をサポートし、同時にデータ信頼性は 12 に達します。 9 秒になり、可用性は 5 9 秒に達します。

コンピューティング能力の第 2 レベルの弾力性により、アイドル状態のコストが削減されます

メッセージのトラフィックグラフは、基本的に潮汐タイプ、または大きなグリッチを伴う潮汐タイプです。これまでは、自作ユーザーとクラウド製品は基本的にリソース予約タイプとして要約できました。

ユーザーは、ビジネストラフィックをサポートするために、リソースの固定バッチを使用します。コアビジネストラフィックがピークに達すると、裕福なユーザーは障害トラフィックを軽減するために事前にマシンを予約または追加しますが、裕福でないユーザーは非コアビジネストラフィックを制限します。しかし、ユーザーにとっては評価の難しさやコストの無駄などの問題が生じます。

サーバーレスアーキテクチャバージョンでは、ネットワーク、コンピューティング、およびストレージが分離され、ネットワークとストレージが基本製品に引き渡されて、適応的な弾力性と従量課金制が提供されます。

リソース弾性メソッドに加えて、コンピューティングレイヤーは、インスタンスの過去のビジネストラフィックインジケーターとクラスター水位インジケーターに基づいたインテリジェントな事前弾性メソッドを追加します。同時に、クラスター間でインスタンスのトラフィックをスケジュールする方法も追加されました。業務トラフィックが制限される時間を可能な限り短縮し、グリッチトラフィックに迅速に対応するという目標を達成します。

マルチレベルストレージにより、オンデマンドストレージ、大容量、低コストが可能になります

メッセージは中間データであり、理論上、メッセージは迅速に生成および消費され、データはメモリ内で最速の速度で流れます。しかし、実際の運用では、メッセージを時間内に消費できない、またはメッセージを再度消費する必要があるというシナリオに直面する可能性があります。

これらのシナリオでは、データが PageCache にないことが多く、ディスクから読み取って PageCache にロードする必要があります。コールド読み取りが多い場合、PageCache は激しく競合し、頻繁なスワップインとスワップアウトによりキャッシュ汚染が発生し、書き込みパフォーマンスに深刻な影響を及ぼします。さらに、生成リクエストと消費リクエストを処理する同じスレッドプールがコールド読み取りブロックの影響を受ける可能性があり、すべてのリクエストが適切なタイミングで失敗する可能性があります。この問題を軽減するには、「ホットデータとコールドデータの分離」、ホットスレッドとコールドスレッド (コルーチン) の分離、プリロードなどの最適化戦略を通じて、メッセージ生成に影響を与えず、サービスの安定性を高めます。

安価なマルチレベルストレージの導入により、メッセージストレージのコストが削減され、同時にデータの保存時間を延長できます。

安心のSLA保証が安定したサービスの基盤

一連のアーキテクチャの進化に基づいて、製品の可用性は技術実装で保証されます。単一ノードまたは可用性ゾーンの障害はサービスの可用性に影響しません。同時に、単一ノードの障害はコンテナの特性を利用して迅速に自己修復することもできます。サービスの可用性は最大 4/9 に達し、データの信頼性は 9/9 に達します。

実行時の安定性の保証に関しては、理論と実践が組み合わされています。SRE プラットフォームを通じて、ブラックボックス検出とインジケーターの監視が組み合わされ、50 を超える検出インジケーターをカバーしています。24 時間の検出範囲を達成し、異常が発生したら数分以内にアラートを受け取ることができます。、サービスの SLO は観察可能です。異常アラームの各項目には、対応する実行可能な緊急計画があります。

MQ ユーザープレーンが完全にアップグレードされました

さらに、製品エクスペリエンスも向上し、ApsaraMQ 製品の全範囲がユーザーの閲覧用に統合され、メトリクス指標、メッセージトレース、主要なイベントとビジネスログに基づいて、アラーム、検査、診断がビジネスの開発と運用に提供され、保守担当者は、専門家の経験に基づいてイベントモデルを定義し、根本原因分析を提供して、企業がビジネス上の問題を迅速にトラブルシューティングして解決できるように支援します。

アーキテクトに対しては、製品機能のワンクリックエクスペリエンスと、アクセス前評価のためのコスト見積もり機能を提供し、アナリストが体験を通じて製品を迅速に理解できるようにします。また、メッセージングシリーズの製品エコロジーを統合して、データの流入およびデータ統合を迅速に実現します。流出メッセージ。

低リスク、低コストで可視化をクラウドにスムーズに移行

クラウドへの移行フェーズでは、クラウドへのスムーズかつロスレスな移行を保証するための視覚的な移行ツールが提供されます。

豊富なメッセージングエコシステムにより、企業はアプリケーションを迅速に構築できます

クラウドへの移行後、メッセージングは、企業がアプリケーションを迅速に構築できるようにする豊富なエコシステムを提供します。

EventBridge/ファンクションコンピューティング/クラウドワークフローを中核として、クラウド統合パラダイムを構築し、クラウド製品間の接続を強化します。クラウド製品のイベント統合に関して、EventBridge は現在 200 以上のクラウド製品イベントソースと 3,000 以上のイベントタイプを統合しています。。

SaaS アプリケーションの統合に関しては、DingTalk、JushiTa、クラウドを含む 50 以上の SaaS サービスが Webhook を通じて EB に接続できます。

さらに、EB は現在、Alibaba Cloud のすべてのクラウド製品 API に接続しており、クラウド製品 API を通じてあらゆるイベントにアクセスできます。

クラウドワークフローは、視覚的なプロセスオーケストレーション、完全な API ドッキングを提供し、コードを書かずに EventBridge クラウドサービスをオーケストレーションできます。ファンクションコンピューティングにより統合エクスペリエンスが向上し、EventBridge に基づいてメッセージデータからビッグデータストレージまでの分析シナリオを完了できます。

Confluent が連続テクノロジーパートナーとなる

10月31日、杭州で開催されたコンピューティングカンファレンスで、Alibaba Cloudのクラウドネイティブアプリケーションプラットフォーム責任者であるDing Yu氏は、ConfluentがAlibaba Cloudのテクノロジーパートナーとなり、アジア太平洋市場に共同で拡大しサービスを提供するために協力関係が強化されたと発表した。今回のパートナーシップ締結により、Alibaba Cloud と Confluent はさらに連携を深め、Confluent は Alibaba Cloud の製品となり、Alibaba Cloud の国内サイトおよびアジア太平洋地域の海外サイトで完全にリリースされ、Confluent の仕様は Alibaba Cloud Apsara の下で提供されます。 Kafka と Confluent を完全にサポートする商用化機能とソリューション。Confluent チームと共同で提供される技術サポートを通じて、国内企業は Alibaba Cloud 上の Confluent サービスを利用できるようになります。