リンクトレースを簡単に: リンクコストのガイド

広い意味でのリンクコストには、データの生成、収集、計算、ストレージ、リンクトラッキングを使用して生成されるクエリなどの追加のリソースオーバーヘッドだけでなく、リンクシステムのアクセス、変更、メンテナンス、コラボレーションなどの人的運用およびメンテナンスのコストも含まれます。。理解を容易にするために、このセクションでは狭義のリンクトラッキングマシンのリソースコストに焦点を当て、人的コストについては次のセクション (効率) で紹介します。

リンクトラッキングマシンコストの構成構造

リンクトラッキングマシンのコストは、主にクライアントとサーバーの 2 つのカテゴリに分類されます。 リンクトラッキングクライアント (SDK/エージェント) は通常、ビジネスプロセス内で実行され、CPU、メモリ、ネットワーク、ディスクなどのシステムリソースをビジネスプログラムと共有します。リンク追跡のクライアントオーバーヘッドには主に、リンク埋め込みポイントの傍受、リンクデータの生成と透過的送信、単純な事前集約や圧縮/エンコーディングなどのデータ処理、データのキャッシュとレポートなどが含まれます。クライアントのオーバーヘッドは通常、隠れたオーバーヘッドの一種であり、短期的にはリソース請求の増加に直接つながりませんが、ビジネスプロセスのアイドル部分のリソースを利用します。ただし、ビジネスが成長を続けるか、ピーク期間 (大規模なプロモーションなど) に入ると、リンクトラッキングによって消費されるリソースの部分が最終的に実際の請求額の増加につながります。したがって、この部分の経費は、10% 以下などの合理的なレベル内で厳密に管理される必要があります。そうしないと、通常の事業運営に重大な影響を及ぼします。

リンクトラッキングのサーバーマシンのコストは、明示的かつ即時のリソースコストであり、リンクトラッキングオプション (自己構築、ホスト型) を評価する際の重要な考慮事項でもあります。リンクトラッキングのサーバー側は、通常、ゲートウェイ、メッセージバッファ、フロー計算、ストレージ、およびクエリエンドで構成されます。最もよく知られ、関係があるのは、リンクストレージモジュールと、「テールベースサンプリング (Tail-based Sampling)」で説明されています。多くの注目記事主な影響は、リンクトラッキングサーバーのストレージコストです。ただし、短期間のストレージ (3 ～ 7 日など) シナリオでは、リンクデータの受信、バッファリング、および処理のリソースコストがストレージのリソースコストを超えることもあります。これも無視できない重要なコンポーネントです。

さらに、見落とされやすいもう 1 つのコストは、クライアントとサーバー間のネットワーク伝送料金です。 特にパブリックネットワーク間の送信シナリオでは、帯域幅コストが高いだけでなく、送信トラフィックも制限されるため、多くの場合、リンクデータのレポート量を削減するためにヘッドベースサンプリングを有効にする必要があります。

近年、主流のオープンソースコミュニティや商用製品がエッジクラスターソリューションを次々と発表しています。つまり、ユーザーネットワーク (VPC) の下に一連の観察可能なデータを統合した収集および処理クラスターを展開し、マルチソースの異種データの標準化、リンクデータをサポートしています。ロスレス統計やエラースロー完全収集などの機能により、リンクデータレポートと永続ストレージのコストをさらに削減できます。全体的なアーキテクチャを次の図に示します。

リンク追跡マシンのコストの最適化

リンクトラッキングマシンのコストの構成と構造を明確にした後、次にターゲットを絞った最適化を実行する方法を分析します。ここでは、まず「各リンクデータの価値は等しいか？」、「リンクデータをできるだけ早く処理したほうがよいか、それとも遅らせたほうがよいか？」、「リンクデータの保存期間はどれくらいか」という3つの質問をします。できるだけ長く、それともできるだけ短く？」

上記の質問に答えるためには、リンクデータの用途と価値が何であるかを理解する必要があります。リンクデータの主な用途は 3 つあります。1 つは、特定の問題の診断と位置特定に使用される、特定の条件に従って単一のコールチェーンの詳細な追跡をフィルタリングおよびクエリすること、もう 1 つは、リンクデータに基づいてリンクの事前集約を実行することです。固定ディメンションとサービスインターフェイスなどの一般的な粒度の提供、モニタリングとアラーム、3 つ目は、3S を超える VIP 顧客の低速リクエストインターフェイスの配布など、個別のリンク分析要件を満たすために、リンクの詳細に基づいてカスタマイズされた集計を実行することです。

したがって、異なる特性を持つリンクデータの価値は等しくありません。間違ったリンクや遅いリンク、または特定のサービス特性を持つリンク (総称してクリティカルリンクと呼ばれます) は、多くの場合、通常のリンクよりも価値があり、クエリされる可能性が高くなります。。より重要なリンクを記録し、その保存期間を長くする必要があります。通常のリンクは記録を減らし、保存期間を短縮する必要があります。さらに、統計データの正確性を確保するには、リンクデータの事前集計をできるだけ早く完了する必要があります。これにより、リンクサンプリングをより早く実行できるようになり、詳細データの全体的なレポート作成と保存のコストが削減されます。。

要約すると、 「リンク斜めサンプリング」、「リンク計算の左シフト」、「コールドストレージとホットストレージの分離」などの側面を検討し、 最も価値のあるリンクデータをオンデマンドで最低コストで記録することを試みることができます。下図に示すように、コストとエクスペリエンスの動的なバランスと最適化を実現します。

より貴重なデータを記録するためのリンクスキューサンプリング

リンクデータの値の分布は不均一です。不完全な統計によると、呼び出しチェーンの実際のクエリ率は、通常、100 万分の 1 未満です。つまり、100 万の呼び出しチェーンごとに、実際のクエリがヒットするのは 1 つだけで、他のほとんどすべてのリンクは無効です。保管所。ストレージとコールチェーンが完全になると、膨大なコストが浪費されるだけでなく、データリンク全体のパフォーマンスと安定性に大きな影響を与えます。

そこで、リンクサンプリング (トレースサンプリング) の概念が生まれました。Google Dapper の論文が発表されたときと同じように、固定比率に基づくリンクサンプリングの方法が提案され、Google の内部運用システムで実際にテストされました。たとえば、1024 リンクごとに 1 つがサンプリングされて記録され、サンプリング率は 1/1024 です。ただし、固定比率サンプリングは、リンク値分布の不均一性を無視して、リンクオーバーヘッドの制御の問題を解決するだけであり、クリティカルリンクと通常のリンクがサンプリングされる確率は同じであるため、パスのクエリ結果がヒットしないことが多くなります。、これはトラブルシューティングの効率に大きく影響します。

では、ユーザーの行動を事前に予測して、クエリされるリンクのみを記録することはできるのでしょうか? 100% 正確な予測は非常に難しく、達成することはほぼ不可能ですが、過去の動作とドメインの経験に基づいて、クエリの可能性が高いリンクを優先的に記録すること、つまりリンクスキューサンプリングの方が現実的です。

リンクチルトサンプリングでは通常、特定のリンク特性 (障害のある、遅い、コアインターフェイスやカスタムサービスの特性など) に対して、より高いサンプリング率 (100% など) またはトラフィックしきい値 (最初の N ライン/分など) を設定します。重要な特性を満たすものは、非常に低い率 (1% など) でサンプリングされるか、サンプリングされないことさえあります。以下の図に示す Alibaba Cloud リンクトラッキングのカスタムサンプリング設定ページでは、ユーザーはニーズに応じて特徴サンプリング戦略を自由にカスタマイズできます。高いクエリヒット率 (50% 以上など) を確保することを前提として、リンクデータは実際に保存され、その量は元のデータ量の約 5% に達する可能性があるため、サーバー側の永続ストレージのコストが大幅に節約されます。 動的サンプリングなどのリンクサンプリング戦略については、実際の戦闘の章で詳しく紹介します。

この考え方を拡張すると、問題の診断を行う場合、通常、コールチェーンに加えて、ログ、例外スタック、時間のかかるローカルメソッド、メモリスナップショットなどの関連情報を組み合わせて、総合的な判断を行う必要があります。各リクエストの関連情報がすべて記録されている場合、システムがクラッシュする可能性が高くなります。したがって、「リンク・オブリーク・サンプリング」の概念を参照して、無駄なデータや価値の低いデータを破棄し、異常なサイトまたは特定の条件を満たす高価値のデータを保持する、洗練されたオンデマンド・ストレージ機能は、利点と利点を測定するための重要な要素になるはずです。トレースの短所、さらには観察可能な製品も標準の 1 つです。以下の図に示すように、Alibaba Cloud ARMS 製品は、低速呼び出しのシナリオで完全なローカルメソッドスタックを自動的に保存する機能を提供します。これにより、低速呼び出しの行レベルのコードの場所を実現できます。

リンク計算を左にシフトしてデータの値を抽出します

より貴重なデータを選別して記録することに加えて、データ処理計算をサーバーからクライアントまたはエッジクラスターに「左シフト」することもでき、事前集計や圧縮コーディングなどのデータ値の抽出を事前に完了することもできます。クエリ要件を前提として、データ転送とストレージのコストを効果的に節約できます。

事前集計統計: クライアント側での事前集計の最大の利点は、データの正確性を損なうことなく、データレポートの量を大幅に削減できることです。たとえば、コールチェーンの 1% をサンプリングした後でも、正確なサービス概要、上流および下流の監視およびアラーム機能を提供できます。
データ圧縮: 繰り返し発生する長いテキスト (例外スタックや SQL ステートメントなど) を圧縮してエンコードすると、ネットワークのオーバーヘッドを効果的に削減できます。非キーフィールドの難読化と組み合わせると、さらに効果的に機能します。

温冷庫の分離、低コストで個別の分析ニーズに対応

リンクのサンプリングと計算の左シフトの考え方は、コスト削減の目的を達成するために、リンクの詳細データのレポートと保存を可能な限り削減することです。これら 2 つのアプローチは、一般的なシナリオでの単一リンククエリと集計前の監視アラームに適切に対応できますが、多様化した集計後の分析要件には対応できません。たとえば、特定のビジネスでは 3 秒以上かかるインターフェイスとソースをカウントする必要があります。分散の場合、この種のパーソナライズされた集計後の分析ルールは網羅的ではありません。また、分析ルールを事前に定義できない場合は、非常に高価な完全な生データストレージを使用することしかできないようです。最適化の余地はないのでしょうか？次に、集計後の分析の問題、つまりホットストレージとコールドストレージの分離に対する低コストのソリューションを紹介します。

ホットストレージとコールドストレージの分離の基礎は、ユーザーのクエリ動作が時間の局所性の原則を満たすことです。 単純に理解すると、ホットデータクエリの確率が近づくほど、コールドデータクエリの確率が長くなり、低くなります。たとえば、問題診断の適時性により、リンククエリ分析の 50% 以上が 30 分以内に行われ、7 日以降のリンククエリは通常、間違ったコールチェーンや遅いコールチェーンに焦点を当てます。理論的基礎を確立した後、冷蔵室と温室の分離を実現する方法について説明します。

まず、ホットデータには適時性があるため、直近の期間のホットデータのみを記録する必要がある場合は、必要なストレージ容量が大幅に軽減されます。さらに、パブリッククラウド環境では、さまざまなユーザーのデータが自然に分離されます。したがって、ユーザー VPC 内のホットデータコンピューティングおよびストレージソリューションの方がコストパフォーマンスが優れています。

第 2 に、コールドデータのクエリには方向性があり、診断要件を満たすコールドデータは、永続ストレージのさまざまなサンプリング戦略を通じてフィルタリングして除外できます。たとえば、間違ったサンプリングや遅いサンプリング、特定のビジネスシナリオのサンプリングなどです。コールドデータは保存期間が長く、安定性に対する要求が高いため、共有データセンターでの一元管理が検討されます。

要約すると、ホットデータの保存期間は短く、コストは低いですが、リアルタイムで本格的な集計後分析のニーズを満たすことができ、正確なサンプリングによりコールドデータの総量は大幅に削減されます。通常、元のデータ量の 1% ～ 10% にすぎず、ほとんどのシナリオの診断要求を満たすことができます。2 つを組み合わせることで、コストと経験のバランスの最適なソリューションが実現します。ARMS、Datadog、Lightstep など、国内外の主要な APM 製品はすべて、コールドデータとホットデータを分離するストレージソリューションを採用しています。

コールドストレージとホットストレージの分離の具体的な実装と、さまざまなストレージタイプの比較については、実践編で詳しく説明します。次の図は、Alibaba Cloud Link Tracking によって提供されるホットデータの 30 分間の完全分析の概略図を示しています。

まとめ

クラウドネイティブおよびマイクロサービスアーキテクチャの台頭により、観察可能なデータ (トレース、ログ、メトリクス) の量は爆発的な増加を示しており、ますます多くの企業が観察可能なコスト管理に注目し始めています。新しいコラボレーションパラダイム。完全なデータのレポート、保存、再分析という従来のソリューションは、ますます課題に直面することになります。オブリークサンプリングによるより価値のあるデータの記録、計算を左にシフトすることによるデータ価値の抽出、コールドストレージとホットストレージの分離によるよりコスト効率の高いデータ価値探索の実現は、徐々にクラウドネイティブ時代の主流のソリューションになるでしょう。！