Alibaba Cloud 検索分析サービス Elasticsearch バージョンのクラウド進化の軌跡
2017 年に、Alibaba Cloud と Elastic はオープンソースの戦略的提携を開始し、Alibaba Cloud の検索および分析サービスの Elasticsearch バージョンを正式にリリースしました。これは、オープンソースの Elasticsearch と 100% 互換性があり、すぐに使用できるため、オープンで優れたサービスを提供します。互換性のあるクラウド検索および分析サービス。
2019 年、Alibaba Cloud はクラウド上で Elastic Stack を完全にホストし、エコロジー コンポーネント全体をクラウド上で完全にホストした中国初の製品サービス プロバイダーとなり、オープンソース ユーザーを迅速に支援するエンドツーエンドの検索および分析ソリューションを提供しましたクラウドへの移行と拡張 10,000 人のコア クラウド ユーザーをサポートします。
2021 年に、Elasticsearch カーネル エンジンの最適化に基づくバージョンが市場に投入されました。Alibaba カーネルは徹底的に最適化されており、自社開発の読み書き分離、ストレージおよび計算分離アーキテクチャは、企業のコスト削減と効率の向上に役立ちます。このバージョンの背後にあるカーネルの改善を Elasticsearch コミュニティに宣伝します。
2023 年に、Alibaba Cloud の Elasticsearch Serverless サービスが正式に開始されます。新しい製品形式は、クラウドネイティブのサーバーレステクノロジーに基づいており、クラウド上のユーザー向けに、低コストで柔軟性があり、オープンで互換性があり、すぐに使える Elasticsearch エクスペリエンスを作成することに取り組んでいます。
オープンソース Elasticsearch が直面するビジネス上の課題
2017 年以来、私たちは数万のエンタープライズレベルの顧客にサービスを提供し、数十万のクラスターを運用および保守し、オープンソースユーザーと自作ユーザーが直面する共通の問題点をまとめてきました。
- 継続的なプロモーション、ゲームのリリース、リクエストの殺到、突然の読み取りおよび書き込みトラフィックにより、クラスターはリソースのボトルネックに遭遇し、短期間で容量を拡張することが困難になります。
- ビジネスのピーク時間帯には大量のリソースが冗長になり、トラフィックはある瞬間に突然増加するため、ピーク トラフィックに基づいてキャパシティ プランニングを行う必要があります。
- サーバーリソースのコストは高く、研究開発、テスト、生産の予算は低いため、コストを削減し、効率を高めながら安定している必要があります。
- プロジェクトチームには専任の運用・保守サポートが存在せず、クラスタの安定運用・保守は難しく、事業開発との継続的な最適化が必要であり、開発にも運用・保守の経験が必要です。
Alibaba Cloudの検索・分析サービスElasticsearchサーバーレス版を正式リリース
上記の課題に基づいて、私たちは Alibaba Cloud Elasticsearch Serverless サービスを開始しました。Alibaba Cloud Elasticsearch Serverless は、Elasticsearch を中心に構築されたクラウドネイティブのサーバーレス サービス指向製品です。実際のビジネス負荷とリソースの動的なマッチングを実現します。ユーザーはクラスターやリソース構成を管理する必要はありません。実際の料金に基づいてオンデマンドで支払うだけで済みます。リソースの使用量を削減し、柔軟なスケーリング機能を提供します。ピーク時のビジネス ニーズにも対応できます。元の ES エコシステムのユーザーはスムーズにサーバーレス バージョンに切り替えて使用できるため、企業はクラウドに迅速に移行できます。
Elasticsearch Serverless サービスのコア機能の解釈
第 2 レベルの柔軟なスケーリング
IDC または ECS 上にオープンソース Elasticsearch を構築する場合は、データ ノード、コーディネーション ノード、マスター ノードの数や、各ノードに構成する必要があるデータ ストレージ ディスクなど、クラスターのスケールを事前に計画する必要があります。さらに、運用環境では、ビジネス トラフィックの変動や変化に基づいてクラスター サイズを調整する必要があり、変更プロセス中のクラスターの安定性とセキュリティについて心配することになります。
Alibaba Cloud の Elasticsearch Serverless サービスは、仮想マルチテナント機能を使用して、非常に大規模な物理クラスターを N テナントに分割し、ユーザーに提供します。ユーザーは実際には、単一の物理クラスターを保持するのではなく、論理レベルのユニットを取得します。トラフィックのピークが到来し、リソース消費量が設定したしきい値を超えた場合、物理レベルでの拡張を伴わず、既存のリソースをテナントにさらに割り当てることで、顧客のリソースの上限と下限を柔軟かつ動的に割り当てることができます。まさに弾むような膨張感。さらに、論理レベル単位の拡張と縮小は比較的スムーズであり、クラスターの不安定性、ビジネスのジッター、その他の悪影響はありません。
本当の従量課金制
Elasticsearch の使用中に避けられないリソース オーバーヘッドには 2 つの部分があり、1 つは CPU とメモリによってもたらされるコンピューティング リソースであり、もう 1 つはストアに付属するストレージ リソースです。Alibaba Cloud の Elasticsearch Serverless サービスは、固定仕様に基づく従来の支払いモデルを打ち破り、コンピューティング リソースの請求として CU を使用します。1 CU のパフォーマンスは 1 コア CPU (最大) 2 GB メモリにほぼ等しく、実際の使用量に基づいて時間単位で請求されます。本当の従量課金制を実現します。
CPU やメモリなどの瞬間的なコンピューティング リソースの場合: 時間単位で支払うため、「トラフィックの変動は時間ごとに正確」であり、1 時間以内の平均コンピューティング リソースが計算されて請求されます。不具合を心配する必要はもうありません。単独での防止、不具合による水位の冗長性。ストレージなどの継続的に占有されるリソースの場合: 同様の手段を使用して「時間単位の精度でストレージの変動」を測定し、1 時間以内のストレージ リソースの平均値を計算して請求します。ストレージは継続的に蓄積されますが、これにより、買いすぎや不足を心配することなく、クラウド上の Elasticsearch のストレージをより柔軟に使用できるようになります。
たとえば、ユーザーが Web サイト構築情報を取得するビジネス シナリオを持っているとします。日中はトラフィックがありますが、夜間はトラフィックがありません。
- ビジネス トラフィックに対応して、タスクを完了するには、セルフビルド ES 2 コア 4GiB シングルノード インスタンスを構築する必要があります。セルフビルドの 1 日コスト = 9.6 元 (2 コア 4 GiB 仕様: 0.407698/時間) ）。
- Elasticsearch Serverless サービスの 1 日の総使用コスト = コンピューティング リソース コスト + ストレージ コスト = 1.2 × 8 × 0.3975 + 0.2 × 16 × 0.3975 +1 × 0.0021 × 24 = 5.1384 元
Elasticsearch Serverless サービス コストを使用すると、最大 50% を節約できます。これは、ピーク時に 2CU のみのシナリオにすぎません。実際の運用環境で、同時 QPS が 1000 に達し、必要な RT が 100 ミリ秒の場合、冗長リソースはいくつ必要になるでしょうか? Alibaba Cloud Elasticsearch Serverless サービスを使用すると、どれくらいのリソースを節約できますか?
簡単操作でメンテナンスフリー
Elasticsearch を使用する場合、複雑かつ避けられない運用および保守作業が発生する場合があります。リソースの準備段階では、実際の大量の運用経験に基づいたキャパシティ プランニングと構成が必要です。研究開発と導入段階ではさまざまな環境があり、数千のパラメーターを構成する必要があります。また、運用保守段階では、大規模なディスクを構成する必要があります。モニタリングとアラーム、およびトラフィックの発生時 ディスクはピーク時に監視する必要があり、クラスターの安定性が変動した場合にはクラスターの回復が必要です。
Alibaba Cloud の Elasticsearch Serverless サービスには物理クラスターの概念がなく、いかなる形式や種類のクラスター計画も必要ありません。インテリジェントな運用および保守プラットフォーム、読み取りと書き込み、ストレージとコンピューティングを分離するエンジン、および Alibaba Cloud のベスト プラクティス アプリケーションに基づいて、運用および保守コストの 95% 以上が保護されます。物理リソースを意識し、1 分で素早く作成できます。リソースレベルや構成の変更に人間の介入を必要とせずにすぐに使用できるため、運用とメンテナンスの効率が大幅に向上します。
オープンで互換性がある
Alibaba Cloud の Elasticsearch Serverless サービスは、一般的な Elasticsearch シナリオ用の 200 以上の API をサポートし、Kibana を提供し、さまざまなオープン ソース コンポーネントと互換性があり、元の使用習慣を維持し、スムーズな移行を実現し、企業のクラウドへの迅速な移行を支援します。
Elasticsearch サーバーレス サービス テクノロジー アーキテクチャ
上の図は、Elasticsearch Serverless サービスの技術アーキテクチャ図です。最下層はストレージ層で、ここで書かれているのは分散ストレージであり、検索専用に設定されたマルチストレージメディアによって提供されるストレージサービスであり、その背後にはEBS高速ストレージ、ローカルディスク、高性能堅牢ストレージ、オブジェクトが存在するストレージ。このマルチレベルセット接続の背後には、どのようなクエリ密度の高いデータをローカルディスクに配置し、どのようなクエリ密度の低いデータをオブジェクトストレージに配置するかというデータスケジューリング戦略もあります。コストとパフォーマンスのバランスが取れ、検索シナリオにおいて最もコスト効率の高いストレージ エクスペリエンスをユーザーに提供します。
次の層はコンピューティング層です。Elasticsearch でデータを書き込むためのクラスターとインデックスをクエリするためのクラスターを分離します。これにより、拡張と縮小のプロセス中にリソースがより適切かつ正確にビジネスにサービスを提供できるようになり、真のボリューム感も実現されます。 -ベースのサービス 有料および柔軟なスケーリングの理由。
次の層はルーティング層です。これは Elasticsearch Serverless サービスの非常に中心的なリンクであり、認証、ルーティング、権利制御、およびその他の関連機能を提供します。
最上層は、オープンソース API、オープンソース コンポーネント、顧客のビジネス シナリオを組み合わせるアプリケーション層です。
このような 4 層アーキテクチャに基づいて、Elasticsearch Serverless サービスは、操作不要で柔軟なスケーラビリティ、低コスト、オープンで互換性のある製品機能を提供します。
Elasticsearch Serverless サービスの今後の進化の方向性
製品の機能を継続的に改善する
より高い弾力性、より高い可用性、そしてより使いやすい Elasticsearch クラウド サービスを提供します。
- 高い弾性
実稼働シナリオの弾力性制限を引き上げ、ストレージとコンピューティングを分離し、より高い弾力性効率を保証します。
- 高可用性
自社開発エンジン機能のサポート、エンタープライズレベルの安定性保証の提供、セキュリティ強化、データセキュリティ保護の強化
- 使いやすさ
シナリオベースの製品機能、マルチシナリオのベストプラクティスの提供、オープンソースの互換性の向上、Elastic Stack サーバーレスの実現
継続的なソリューションの提供
複数の業界およびシナリオのクラウド顧客にサービスを提供し続けます。
私たちは、さまざまな垂直シナリオを受け入れ、Elasticsearch エコシステムに焦点を当て、ソリューションのカプセル化を使用して、より多くのシナリオのニーズに応えたいと考えています。マルチモーダル検索、可観測性、SIEM、データベース アクセラレーション、ChatBot Q&A インタラクションなど、クラウド上にさらに多くのソリューションを構築します。同時に、パートナーの皆様とさまざまなシナリオで連携し、Alibaba CloudのPaaS製品やテクノロジーの蓄積、クラウド顧客やビジネスの蓄積を活用し、中国語検索のアプリケーションレベルの市場を創出していきます。より優れた製品、ソリューションなどのサービス能力を備えた中国市場。
