この記事は、HUAWEI CLOUD コミュニティ「ライブ ストリーミングのレビュー | データ ウェアハウスのリソース管理と制御理論をマスターし、本格的な戦闘の時間です」(著者: Hu Latang) から共有されたものです。
混合負荷シナリオで、データベース システムの過負荷を防ぐためにデータベースを効率的に運用および保守するにはどうすればよいでしょうか? GaussDB (DWS) リソース管理は、データベースの安定した信頼性の高い運用のためにどのような支援を提供しますか? 今号のライブブロードキャスト「データウェアハウスの専門家が教えるリソース管理と運用保守の実践」では、Huawei Cloud GaussDB (DWS) テクニカルエバンジェリストの Lu Pengbo 氏を招き、GaussDB (DWS) のリソース管理とシステムの原則について話し合いました。運用と保守の実践 開発者は、パートナーや友人と通信し、対話します。
GaussDB (DWS) ソフトウェア アーキテクチャと運用および保守の課題
GaussDB (DWS) のコア コンポーネントには、主に CN、DN、および対応する補助コンポーネントである GDS、OM、CM、および GTM が含まれます。このライブ ブロードキャストでは、リソースの管理と制御は主に CN と DN に焦点を当てています。CN は GaussDB (DWS) の調整ノードであり、SQL ステートメントの解析と最適化、実行プランの生成を担当します。DN はデータ ストレージ ノードであり、SQL 実行プランを実行し、実行結果を CN に返す役割を果たします。たとえば、ビジネス アプリケーションが SQL ステートメントを GaussDB (DWS) クラスターに送信する場合、最初に負荷分散され、特定の CN にランダムに分散され、次に CN が解析ステートメントと対応する実行プランを生成して送信します。 DN は実行後に CN に返され、その後 CN からユーザーに返されます。
GaussDB (DWS) はシェアード ナッシング アーキテクチャを採用しており、ノードの拡張をサポートし、GaussDB (DWS) クラスター全体のパフォーマンスを向上させます。データ ウェアハウスを使用するプロセスでは、多数の SQL ステートメントを同時に送信するため、ステートメント実行リソースのプリエンプション、データベースの過負荷、および大規模な SQL 実行エラーが発生する、プロセスがブラック ボックスである、などのいくつかの課題もあります。ステートメントの実行とリソースの使用状況を確認できません。したがって、リソースの管理と制御の機能を使用して、これら 2 つの課題を解決できます。
GaussDB (DWS) リソース制御機能のパノラマ
GaussDB (DWS) のリソース管理および制御機能の原理の紹介
ユーザーが SQL ステートメントを送信すると、まず負荷管理を経て、ジョブ実行のために DN に送信されます。実行プロセスでは、リソース制御が行われます。ここでのリソース制御には、主に CPU 制御とスペース制御が含まれます。さらに、実行プロセス中に、CPU、メモリ、ディスク IO、ネットワークなどを含む、ステートメントの実行プロセス中に占有されているコンピューティング リソースをユーザーがリアルタイムで収集できるようにするデータ収集用の補助スレッドが存在します。同時に、GaussDB (DWS) は、問題を分析して特定するための TopSQL ビューやリソース監視ビューなど、いくつかの運用および保守ツールを提供します。さらに、不正な SQL がクラスター全体のパフォーマンスに影響を与えるのを防ぐために、GaussDB (DWS) は例外ルールの機能を提供します。クラスターにはデフォルトでいくつかの例外ルールがあり、ユーザーは実行時間やキュー時間などの一部の例外ルールをカスタマイズすることもできます。制限を超えると、ジョブは停止またはダウングレードされます。負荷管理は、最初にグローバル コンカレント キューを通過し、次に GaussDB (DWS) リソース プール キューに入ります。このプロセス中に、負荷管理はジョブを短いクエリと長いクエリに分割します。短いクエリは単純なクエリ、長いクエリとも呼ばれます。複雑なクエリとも呼ばれます。ショートクエリ機能を有効にすることで、ユーザークエリのパフォーマンスが向上し、運用効率が向上します。
負荷制御: 同時実行ベースのクエリ スケジューリングおよび推定メモリ ベースのクエリ スケジューリングを含むクエリ スケジューリング。クエリのピーク時間のずらした実行は、クエリのスケジューリングによって実現され、過度の同時実行によって引き起こされる深刻なリソース競合を防ぎ、クエリの蓄積を引き起こします。
CPU 制御: GaussDB (DWS) は、ユーザーの CPU の使用を調整するための CPU 制御方法 (共有クォータと排他的クォータと呼ばれます) をユーザーに提供します。その中で、共有クォータは、パーセンテージに従ってリソース プールに特定の重みを割り当てるために使用されます。共有クォータはリソース プールを制限しません。使用される CPU コア、特定の CPU が完全にロードされている場合は、重量比に従って CPU タイム スライスをプリエンプトします。、初め。排他的割り当てとは、割合に応じてリソース プールに CPU コアを割り当てることです。リソース プールで実行される複雑なジョブは、割り当てられた CPU 上でのみ実行できます。使用シナリオは、CPU リソースが比較的十分であり、ビジネスへの影響が少ない場合です。機密であるため、閉じる必要があります。リソース プールのショート クエリ アクセラレーション スイッチ。2 つの管理および制御スキームにはそれぞれ適用可能なシナリオがあり、特定のシナリオの特定の分析が必要です。
メモリ制御: GaussDB (DWS) は 2 つのメモリ制御方法を提供し、ビジネス ニーズに応じてリソース プール レベルでメモリ比率を合理的に設定できます。従来のメモリ管理の欠点を克服するために、GaussDB (DWS) は work_mem への依存を取り除くメモリ自己適応テクノロジを設計および実装しました。オプティマイザは統計情報に基づいてクエリで使用されるメモリを推定します。SQL の実行中に、使用されているメモリが推定メモリを超える場合、つまりディスクがトリガーされ、オプティマイザによって推定されたクエリ メモリに基づいてリソース管理がクエリをスケジュールおよび制御します。
スペース コントロール:ユーザー スペース コントロール、スキーマ スペース コントロール、単一 SQL スペース コントロール、ディスク スペース コントロール、およびその他の多次元スペース コントロール機能を含む、多次元スペース コントロール機能をサポートします。
ネットワークの管理と制御:分散環境では、ネットワークの品質がクエリのパフォーマンスに重大な影響を及ぼします。このため、GaussDB (DWS) は、ノード間のネットワーク トラフィックを制御するために、優先順位 + クエリ重み付けラウンドロビン DWRR アルゴリズムを提案しています。また、例外ルールを通じてユーザーのクエリを制限し、ネットワークの混雑によるビジネスの影響を防ぎます。ネットワークの管理と制御により、ネットワーク帯域幅を合理的に構成し、データの読み込みをスムーズにし、輻輳を回避できます。冗長で価値の低いデータ転送を特定し、帯域幅の使用を制限します。同時に、主要なクエリに対してネットワーク リソースに高い優先順位を与えることができます。データ ウェアハウスのネットワーク トラフィック制御は、データの読み込みを最適化し、クエリの応答を改善し、障害を防ぐのに非常に役立ちます。
GaussDB (DWS) リソース運用保守ツール
GaussDB (DWS) は、問題の特定と分析の能力を向上させるための多くの運用保守ツールを提供しており、現在、パフォーマンス分析の実行計画の説明を含む、イベント前、イベント中、イベント後などのさまざまな運用保守手法を統合しています。ジョブの実行後は、pgxc_stat_activity を使用してアクティブなセッション情報を分析し、pgxc_thread_wait_status を使用してスレッド待機情報を分析し、pgxc_wlm_session_statistics を使用して実行中のジョブ情報を分析することができます。ジョブの実行終了後は、pgxc_wlm_session_info を使用して履歴ステートメントの実行を分析したり、pgxc_respool_resource_history を使用して履歴リソース プールの占有情報を分析したり、pgxc_wlm_user_resource_history を使用してユーザー ディメンションのリソース使用状況を分析したりすることもできます。
これらの運用および保守ビューは、データベースの内部データへのアクセス インターフェイスを提供し、実行計画、セッション情報、パフォーマンス統計などの運用および保守に関連するデータを取得できます。複雑な内部ストレージ構造を理解する必要はなく、ビューテーブルに直接クエリを実行して必要な情報を取得できます。クエリコストが低く、毎回テーブル全体をスキャンする必要がないため、アクセス効率が向上します。カプセル化が強化され、データベース内のメタデータのセキュリティが保護されます。返された情報は必要に応じてフィルタリングできるため、運用担当者や保守担当者が使いやすくなります。他のビューテーブルを結合することにより、分析用の包括的なクロスドメイン情報を取得できます。一部のビューには追加の洞察と統計が含まれており、最適化と診断の基礎を提供します。データベースをよりよく理解、管理、監視できるようになります。全体として、データベースの運用と保守のビューは、データベースの日常的な監視、パフォーマンスのチューニング、障害の特定、その他の管理タスクを大幅に容易にし、データベースの運用と保守のための重要なツールです。
一般に、リソースの管理と制御により、リソースの使用率が向上し、サービス品質が確保され、ピーク プレッシャーがスムーズになり、マルチテナントの分離が実現し、リソース割り当て戦略が最適化され、運用とメンテナンスの作業負荷が軽減され、ユーザー エクスペリエンスが向上します。特に：
- リソースの管理と制御は、非中核ビジネスによるリソースの占有を監視および制限することにより、リソースの使用率を向上させることができます。
- 重要なビジネスや重要な問い合わせに対してリソースを保証し、リソース不足によるサービス品質への影響を防止します。
- データ読み込みとユーザークエリの定期的なピークに対しては、ピークプレッシャーを平滑化するためにリソースを科学的に割り当てます。
- 異なるユーザー グループまたはテナント間のリソース使用の分離と干渉防止を実現します。
- リソース監視を通じて潜在的な問題を適時に発見し、迅速に対応します。
- 実際の状況に応じてリソース割り当てを調整し、リソース計画をより合理的にします。リソース制御により、データベースのチューニングと問題箇所の特定のための手動要件が軽減され、運用と保守の作業負荷が軽減されます。
- ユーザーは、リソースの管理と制御によってもたらされるシステムの安定性の向上を直接認識できます。
要約すると、優れたリソース管理および制御メカニズムは、データ ウェアハウスの管理にかかる人件費を大幅に削減し、データ ウェアハウス サービスに対するユーザーの信頼も向上させることができます。
興味のある開発者は、詳細についてライブ リプレイをご覧ください。GaussDB (DWS) 製品の技術分析やデータ ウェアハウス製品の新機能の紹介については、GaussDB (DWS) フォーラムに注目してください。技術的なブログ記事の共有やライブ ブロードキャストの手配は、次のように GaussDB (DWS) フォーラムに投稿されます。できるだけ早く。
フォーラムリンク: HUAWEI CLOUD フォーラム_クラウドコンピューティングフォーラム_開発者フォーラム_テクノロジーフォーラム-HUAWEI CLOUD
ライブ再生リンク:データ ウェアハウスの専門家が実際にリソース管理と運用保守を教えます_DTT_Live_Cloud Community_HUAWEI CLOUD
号外！
ファーウェイは、第8回HUAWEI CONNECT 2023を2023年9月20～22日に上海万博展示ホールおよび上海万博センターで開催する。「業界インテリジェンスの加速」をテーマとするこのカンファレンスでは、思想的リーダー、ビジネスエリート、技術専門家、パートナー、開発者、その他の業界関係者を招き、ビジネス、産業、生態学から業界インテリジェンスを加速する方法について議論します。
ぜひ会場にお越しいただき、インテリジェント化の機会と課題を共有し、インテリジェント化の主要な方策について議論し、インテリジェント技術の革新と応用を体験してください。あなたはできる：
- 100 を超える基調講演、サミット、フォーラムで、業界インテリジェンスの加速という観点から意見をぶつける
- 17,000 平方メートルの展示エリアを訪れ、業界におけるインテリジェント テクノロジーの革新と応用を間近で体験してください。
- 技術専門家と直接会って、最新のソリューション、開発ツール、実践的な方法について学びます。
- 顧客やパートナーとのビジネスチャンスを模索する
いつも皆様のご支援と信頼に感謝し、上海でお会いできるのを楽しみにしています。
カンファレンス公式ウェブサイト：HUAWEI CONNECT 2023 | HUAWEI CONNECT 2023
「Huawei Cloud Developer Alliance」公式アカウントをフォローして、カンファレンスの議題、エキサイティングなアクティビティ、最先端の乾物を入手してください。