モノのインターネット分野の急速な発展に伴い、時系列データの生成と処理に対する需要は増加し続けています。リアルタイム、効率、精度の要件を満たすために、データベースはタイミングパフォーマンスを最適化して、高速なデータ書き込み、リアルタイムクエリ、効率的なデータストレージと処理機能を提供する必要があります。

このライブブロードキャストでは、時系列データと時系列データベースの特徴、TSBS 時系列テスト標準に基づく分析を紹介し、これに基づく KaiwuDB の時系列モデルアーキテクチャと最適化設計を分析します。

1. タイミングの基本概念

時系列データとは、主に電力、化学産業、気象、地理情報などの各種リアルタイム監視・検査・分析装置によって収集・生成される時間タグ付きデータのことです。

基本概念の説明を容易にするために、マイクログリッドの太陽光発電パネルを典型的な時系列データのシナリオとして使用します。各発電パネルが電流、電圧、温度の 3 つの量を収集し、複数のソーラーパネルがあるとします。

測定: あるタイプの機器の集合。
データソース: 特定のデバイス。
タグ: デバイスの説明タグ。
タイムスタンプ: この時系列データの収集時刻。

2. 時系列データベースの特徴

時系列データベースの正式名称は時系列データベースです。時系列データベースは、主に時間タグ付き（時間順に変化する、つまり時系列化）データを処理するために使用されます。

基本的な機能：

大量のデータの処理。
高い圧縮率。
冗長な重複データ用のストレージのコピー。
; 間のシーケンス分割処理
通常、トランザクション関連の処理はありません。

2. TSBS 試験規格の説明

1.TSBS試験規格

TimeScale オープンソースプロジェクト:

時系列データの生成と書き込み。
時系列シナリオの一般的なクエリ。

2 つの典型的なアプリケーションシナリオ:

DevOps – サーバー CPU 監視シナリオの順序付けされた時系列データ。
IoT – IoT トラックフリートシナリオでは、順序付けされていない時系列データや欠落している時系列データが問題になります。

2. DevOps シナリオ (CPU のみ)

CPU のみのシナリオの特徴:

データ間隔はすべて 10 秒です。
シナリオ 5 の最大データ量は 1 億 8,000 万レコード、シナリオ 4 の最小データ量は 1,800 万レコードです。
シナリオ 4 と 5 では、より多くのデバイスが使用され、3 分間の期間のみがカバーされます。

3. さまざまなカテゴリの TSBS ステートメントの分析

3. KaiwuDB マルチモードデータベースタイミングエンジン

1. 基本的な実行アーキテクチャ

アプリケーション層。
SQL エンジン；
ディストリビューション層。
ストレージエンジン。

通常、トランザクション関連の処理はありません。

2. タイミングの最適化と変換

2.1 ストレージ構造の最適化

時系列データは大量かつ増加しており、一部のデータは静的な値であるという特性を考慮して、ストレージ構造は次のように進化しました。

大きなテーブル。すべてのデバイスが 1 つのテーブルに書き込まれます。
テーブルを分割し、デバイスごとに 1 つのテーブルを作成します。
パーティション、時間に従ってデータ領域を分割します。
結合テーブル、部分デバイスのグループ、静的属性の結合ストレージ、および同時に時間パーティショニング

2.2 KaiwuDB はコンピューティングアーキテクチャの最適化を実行します

タイミングモデルに関して、KaiwuDB は一連の実行アーキテクチャの調整を行いました。

アクチュエータが下がっています。
mmap テクノロジーを使用してデータのコピーを削減します。
パーティションの並列処理。
データクリッピング。

カスタマイズされた実行計画。
Timebucket などの特別なタイミング演算子。
マルチレベルの動的並列処理。

2.3 KaiwuDB タイミング統計情報

KaiwuDB は、時系列クエリの特性に応じて、事前に計算された一連の時系列統計情報をカスタマイズして実装します。その特徴は次のとおりです。

タイミングテーブルは特別な複合テーブルです。
テンプレートテーブルはタグテーブルに対応します。
インスタンステーブルは、対応するタグテーブル内のインデックスにすぎず、完全なテーブルではありません。
データを書き込む場合、タグ項目を動的に作成してデータを書き込むことができます。
タグテーブルは、TSBS などの基本的な統計情報をサポートします。
クエリは一般的なデータ読み取りをサポートします。
マルチタグクエリのプッシュダウンや単一タグ固有の集約データなど、特別なクエリをプッシュダウンできます。
データブロックは時間ごとに分割され、ブロック統計が増加します。

KaiwuDB マルチモードデータベースタイミングパフォーマンスの最適化

1. タイミングの基本概念