KubeCon EU 2023 初日、openGemini の可観測性トピック「openTelemetry によるシステムの理解 - ハイブリッド テレメトリ データ バックエンド」は無事終了し、会場は満席となり、トピック内容は世界中の開発者の共感を呼びました。
この貴重な機会を利用して、openGemini は自信を持って世界中のクラウド ネイティブ開発者にトライアルの招待状を発行し、次の 2 つの声を同時に伝えました。
1. 可観測性の分野における技術的課題に対処するために、openGemini は常に openTelemetry の統一収集プロトコルとテレメトリ形式をサポートします。
2. openGemini は、メトリクスとログという 2 種類のテレメトリ データ ストレージのサポートを完了し、優れた結果をもたらしました。
-
-
メトリックストレージに関しては、タグインデックスとカラムストレージエンジンの継続的な最適化により、トップクラスのコストパフォーマンスを実現しました。
-
ログストレージに関しては技術的な進歩があり、実験環境ではElasticsearchと比較して1億件のログデータに対するテキストインデックスの構築時間が60％短縮、インデックスが占有するメモリ容量が65％削減され、ログのキーワードは正確に一致しますが、あいまいなため、一致などのクエリのパフォーマンスが 60% 以上向上します。
-
近い将来、トレース ストレージがサポートされ、高カーディナリティ タグ値の問題が完全に解決され、同じデータベース システム内でメトリック、ログ、トレース データの相関分析が実現され、真の可観測性ドメイン データ ストレージ ベースとなる予定です。
-
可観測性とは何ですか?
可観測性という用語は、サイバネティクスの分野で最初に登場し、システムがその外部出力からその内部状態をどの程度推測できるかを指し、数十年の歴史があります。CNCFは2018年に可観測性という用語をIT分野に率先して導入しましたが、近年のクラウドネイティブ技術のさらなる発展により、効率性や使いやすさが向上すると同時に複雑さも増大しています。システムの複雑さを最小限に抑えることで、可観測性が前例のない重要な位置に押し上げられました。
Gartner は、応用オブザーバビリティを「2023 年のトップ 10 の戦略的テクノロジ トレンド」の 1 つとして挙げており、2026 年までにオブザーバビリティの導入に成功した企業組織の 70% が意思決定の遅れを軽減し、対象となるビジネスまたは IT プロセスが競争上の優位性を構築できるようになるだろうと指摘しています。 。
クラウドネイティブ時代における可観測性の技術的課題は何ですか?
IT システムの規模が拡大し続けると、問題の発見と解決を迅速化するために、監視指標の数が増加し、指標収集の粒度がますます小さくなり、データ量が増加することがわかりました。指数関数的に。この現象はクラウド上で特に顕著で、Huawei Cloudを例にとると、毎秒数千万の指標データが生成され、毎日収集される指標データとログデータの量は数十テラバイトに達します。保存され、アラーム、異常検出、リアルタイム監視、障害位置などに使用されます。
明らかに、このような大量のデータは、パフォーマンス、ストレージコスト、データ分析、システムの運用と保守など、可観測性システムに前例のない技術的課題をもたらします。
-
-
高い同時実行性、低いレイテンシー
多数のサービスとアプリケーションは、書き込みトラフィックが 1 秒あたり数百 MB にも達する大量のタイムラインとテレメトリ データを生成します。システム要件を満たすためにほとんどのクエリ レイテンシはミリ秒レベルに維持する必要があり、これが同時実行性と処理遅延に影響します。バックエンド ストレージ システムに新たな課題が生じました
-
データストレージのコスト重視
大容量のデータ ストレージは必然的にストレージ コストの急速な増加につながります。そのため、バックエンド ストレージ システムには優れたパフォーマンスを備えているだけでなく、ストレージ コストの制御も求められ、その要求はますます高まっています。
-
システムの複雑性が高く、運用とメンテナンスのプレッシャーが高い
ビジネス数の増加と複数のテクノロジースタックの使用に伴い、システムの複雑さはますます高まっており、運用および保守担当者は以前よりも大きな運用および保守のプレッシャーに直面することになります。
-
データが分散しており、データ相関分析が困難
監視データが分散し、データ形式が統一されていないため、障害発生後、運用保守エンジニアは問題のトラブルシューティングに多くのエネルギーを費やし、問題を迅速かつ正確に特定し、根本原因ではなく症状を治療することができません。 。
-
課題に直面したとき、openGemini はどのように突破するのでしょうか?
まず第一に、問題の特定とデータ相関分析を容易にするために、収集されたデータの統一フォーマットの問題を解決する必要があります。openTelemetryは、インジケーター、コールチェーン、ログなどのデータを統一定義したオープンソースソフトウェアで、豊富なSDKを提供しており、データ収集に非常に便利です。
第二に、時系列データとデータの分散ストレージの問題も解決する必要があります。インジケーター、コール チェーン、ログはすべて典型的な時系列データです。統合ストレージに openGemini を使用することは、非常に合理的な選択です。この目的のために、openGemini は統合インターフェイスを実装しており、OTel Collector を通じてデータをデータベースに直接書き込むことができます。
最後に、大量のデータの書き込みとクエリの要件を満たすために、openGemini のパフォーマンスの問題も解決する必要があります。openGemini は、ベクトル化、GC 最適化、LSM ツリー タイミング最適化、データ前処理テクノロジ、ストリーミング コンピューティングなど、ターゲットを絞った最適化設計を多数実行し、主に次の側面で優れた結果を達成し、競争力を高めています。
-
-
インジケーター データ ストレージの点では、ClickHouse、InfluxDB などと比較して、読み取りおよび書き込みパフォーマンスに明らかな利点があります。
-
データ圧縮に関しては、他の NOSQL データベースと比較して、ストレージ スペースが 90% 節約されます。
-
ログストレージに関しては、openGemini は新しい CLV インデックス アルゴリズムを使用しており、実験環境では Elasticsearch と比較してテキスト インデックスの構築時間が短縮され、占有されるメモリ領域が少なくなり、クエリ効率が 60% 以上向上しました。
-
要約する
openGemini のオープンソース化から半年間、私たちは KubeCon EU 2023 のステージに立ち、openGemini の成果と可観測性の進歩を世界中の開発者に紹介できることを光栄に思いました。
openGemini は、可観測性の分野における一連の技術的課題に対する告発を開始しました。私たちは単独であり、弱者であるため、企業やオープンソース愛好家の参加を歓迎し、共通の問題をできるだけ早く解決していきます。
地域連携連絡先
http://opengemini.org/contact-us
openGemini公式ウェブサイト：http://www.openGemini.org
openGemini オープンソース アドレス: https://github.com/openGemini
openGemini パブリック アカウント:
注目へようこそ~openGeminiコミュニティに参加して、一緒に未来を構築、管理、共有することを心から歓迎します!
オープンソース フレームワーク NanUI の作者がスチールの販売に切り替えたため、プロジェクトは中断されました。Apple App Store の無料リストのナンバー 1 はポルノ ソフトウェア TypeScript です。人気が出てきたばかりなのに、なぜ大手はそれを放棄し始めるのでしょうか。 ? TIOBE 10月リスト：Javaが最大の下落、C#はJavaに迫る Rust 1.73.0リリース AIガールフレンドにイギリス女王暗殺を勧められた男性に懲役9年の実刑判決 Qt 6.6正式リリース ロイター：RISC-Vテクノロジーが中米テクノロジー戦争の鍵となる 新たな戦場 RISC-V: 単一の企業や国に支配されない レノボ、Android PC の発売を計画