要約： GaussDB（Influx用）は、ホットデータストレージとコールドデータストレージを分離し、ストレージコストの85％を節約しながら、大量のデータに高性能ストレージを提供し、時系列アプリケーションのさまざまなシナリオに効率的に対応します。
この記事は、Huawei CloudCommunity「HuaweiCloudGaussDB（for Influx）Revealing Issue 6：Data Hierarchical Storage」、著者：GaussInflux公式ブログから共有されています。
「このデータを保存するだけで、年間200万以上の費用がかかりますか？」
上司の疑問に直面して、シャオ・ワンは再び評価計画を説明した。生産分析やシステムの運用・保守をサポートするために、1台のデバイスに数十の検出ポイントデータが必要です。すべてのデバイスが24時間継続的にデータを収集し、1日のデータ量はTBレベルに達します。これらのデータは次の目的で保存されます。少なくとも2年、さらに高可用性。3コピーで、合計データ量はPBレベルに達します。
Xiao Wangは、現在のクラウドベンダーのストレージ価格とパフォーマンスの比較の調査結果も示しました。
さまざまなストレージのパフォーマンスは大きく異なります。たとえば、NVMEディスクのスループットはSATAディスクの7倍であり、IOPSは20倍以上です。もちろん、対応するコストも約10倍高くなります。テストと評価によると、低コストのストレージパフォーマンスでは大量のデータの書き込みやリアルタイムサービスの監視を満たせないため、高性能のSSDディスクを使用する必要があり、ストレージコストが高くなります。
コストが上がると、上司は当然不満を抱きます。では、コストを抑えながらパフォーマンス要件をどのように満たすことができるでしょうか。Xiao Wang氏は、「実際、すべてのデータ処理に高性能が必要なわけではありません。ビジネスニーズを満たすために高性能ディスクに高価値のデータを配置し、コストを削減するために低コストのディスクに低価値のデータを配置する場合、このようになりません」と考えました。需要に応えてコストを削減することは可能ですか？」
しかし、アイデアは美しく、現実は残酷です。この計画を実現するために、XiaoWangはさらに多くの問題に直面しています。
（1）1つのシステムで高性能ストレージと低コストストレージの両方を使用するにはどうすればよいですか？
（2）価値の高いデータを区別する方法は？
（3）高価値データを低価値データに自動的にダンプする方法は？
（4）現在のビジネス変革の量は可能な限り少なくする必要があります。
1. GaussDB（Influx用）ソリューション
データは、企業のデジタルトランスフォーメーションの基盤です。設備やシステムの状態をリアルタイムで把握するためには、大量のデータをリアルタイムで収集・処理する必要があります。これらのデータはすべて、タイムスタンプ、いくつかの更新、一意のデータソースなどの明らかな特性を持つ時系列データです。データ自体の特性に加えて、ビジネスアプリケーションでは次の特性もあります。
- 時間の経過とともに、クエリおよび分析される確率はますます低くなります。
- 時間の経過とともに、データ分析のリアルタイム要件はますます低くなっています。
- 時間の経過とともに、データの精度要件はますます低くなっています。
- データは一定期間のみ保持され、有効期限が切れると削除されます。
時系列データの特性を組み合わせて、Xiao Wangの業績を達成し、コストを管理したいという願望を実現するにはどうすればよいですか？HUAWEI CLOUDのGaussDB（Influx用）時系列データベースの階層型データストレージ機能は、XiaoWangを悩ませていた問題を完全に解決します。
1. HUAWEI CLOUD GaussDB（Influx用）は、クラウドネイティブ機能を利用して、コンピューティングとストレージを分離する分散アーキテクチャを実現します。ストレージは、Huaweiの分散ストレージDFVとオブジェクトストレージOBSに基づいており、 1つのシステム、および低コストのストレージを使用する問題、その特定のアーキテクチャは次のとおりです。
分散DFVストレージは高性能ストレージであり、ホットデータはビジネスパフォーマンス要件を確保するためにDFVに保存されます。OBSストレージは低コストのストレージであり、コールドデータは顧客のコストを削減するためにOBSに保存されます。
2.ホットデータとコールドデータを自動的に分離するソリューションを提供します。保持ポリシーを作成するときに、ユーザーはホットデータとコールドデータの分割時間を指定できます。システムは、ユーザーの指定に従ってデータをホットデータとコールドデータに自動的に分割します。データを分割する方法を解決します。問題。
3.時間の経過とともに、ホットデータはコールドになり、システムはデータをコールドストレージに自動的にダンプします。
4.上記のプロセスでは、RPの作成時にホットデータポリシーとコールドデータポリシーのみを指定する必要があります。それはビジネス側を認識せず、ビジネスの適応と変革を回避します。
2. GaussDBでのホットストレージとコールドストレージの使用（Influx用）
GaussDB（Influx用）のストレージ階層化機能は非常に便利です。コールドストレージを購入した後、RPポリシーを設定するときにコールドストレージ時間を指定できます。システムは、コールドデータを低コストストレージに自動的にダンプします。 RPポリシー。企業がコールドデータにアクセスすると、システムは自動的にコールドストレージからデータを読み取ります。企業はプロセス全体を認識しておらず、ビジネスに影響を与えません。
2.1冷蔵保管の購入
GaussDB（Influx用）は、コールドストレージスペースのワンクリック購入をサポートしています。インスタンスの購入時にコールドストレージスペースを購入するかどうかを選択できます。[はい]を選択すると、ビジネスニーズに応じてコールドストレージのサイズを選択できます。次の図に示されています。
インスタンスを購入した後、コールドストレージを個別に購入することもできます。次の図に示すように、インスタンスの詳細ページに移動し、[冷蔵スペースの作成]をクリックします。
次のページにジャンプして、ビジネスニーズに応じてストレージスペースのサイズを選択します。
冷蔵スペースはオンライン拡張もサポートしており、拡張プロセスはビジネスに影響を与えません。
2.2冷蔵を購入する
冷蔵スペースを購入すると、ビジネス要件に応じてコールドデータのルールを設定できます。システムは、ルールに従ってホットデータとコールドデータを自動的に分割し、コールドデータをコールドストレージスペースに保存します。RPを作成することにより、ホットデータとコールドデータのルールを指定できます。具体的な例は次のとおりです。
// 在db名为mydb上创建名为myrp的RP，显示指定WARM DURATION为6d，表示6天前的数据是冷数据。
create retention policy myrp on mydb duration 30d replication 1 warm duration 6d shard duration 3d
// 在db名为mydb上创建名为myrp的RP，没有指定WARM DURATION，表示没有冷数据。
create retention policy myrp on mydb duration 30d replication 1 shard duration 3d
// 创建名为mydb的db，并带有名为myrp的RP，显示指定WARM DURATION为3d，表示3天前的数据是冷数据。
create database mydb with duration 6d warm duration 3d name myrp
// 修改WARM DURATION为7d，表示7天前的数据是冷数据。
alter retention policy myrp on mydb warm duration 7dルールが設定されると、システムは指定されたルールに従ってどのデータがコールドデータであるかを自動的に判断し、データをコールドストレージに自動的にダンプします。
2.3冷蔵の購入
コールドデータルールが設定された後、一定期間データを挿入した後、システムはデータがコールドデータになったかどうかを自動的に判断します。コールドデータになっている場合、システムはデータをコールドストレージに自動的にダンプします。次のように、showshardsコマンドを使用してデータのステータスを表示できます。
> show shards
name: hsdb
id database retention_policy shard_group start_time end_time expiry_time owners tier
-- -------- ---------------- ----------- ---------- -------- ----------- ------ ----
5 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 4 cold
6 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 5 moving
7 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 6 warm
8 hsdb myrp 2 2019-08-12T00:00:00Z2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 7 コールド：データがコールドデータであり、コールドストレージに保存されていることを示します。
移動：データがコールドデータであり、データがコールドストレージにダンプされていることを示します。
ウォーム：データがホットデータであることを示します。
3.まとめ
GaussDB（Influx用）のホットおよびコールド階層型ストレージソリューションを適用した後、100Tのデータボリュームが1年間保存されます。1か月以内のデータによると、データはホットデータであり、残りはコールドデータです。全体ストレージコストが250万から250万に削減されます。375,000。これにより、ストレージコストの85％を節約できます。
ホットおよびコールド階層型ストレージ機能に加えて、GaussDB（Influx用）は、クラスタリング、読み取りおよび書き込みパフォーマンス、圧縮率、および高可用性の点でも大幅に最適化されており、時系列アプリケーションのさまざまなシナリオにより適しています。
[フォロー]をクリックして、HUAWEI CLOUDの新技術について初めて学びましょう〜