DAMA-DMBOK2 の主要な知識体系 CDGA/CDGP - 第 6 章 データの保存と運用

1. スコア配分

        CDGA: 2 ポイント (2 つの単一選択肢)

        CDGP：0点

2. 重要な知識のまとめ

1 はじめに

コンテキスト図:

活動：

• (1)データベース運用支援
  • データベース運用サポートは、データベース環境の初期構築からデータの取得、バックアップ、廃棄までのデータライフサイクルに関わる業務が中心です。同時に、データベースのパフォーマンス ステータスが良好であることを確認する必要もあります。データベースのパフォーマンスの監視と最適化は、データベースのサポートにとって非常に重要です。

• (2)データベース技術サポート
  • データベース テクニカル サポートには、組織のニーズを満たすデータベース テクノロジ要件の定義、データベースの技術アーキテクチャの定義、データベース テクノロジのインストールと管理、データベースに関連する技術的問題の解決が含まれます。

データベース管理者 (DBA) は、データの保管と運用の両方において重要な役割を果たします。DBA の役割は、データ専門家において最も一般的で広く受け入れられている役割です。データベース管理の実践は、おそらくデータ管理実践の中で最も成熟した領域でもあります。DBA は、データ セキュリティに関しても主導的な役割を果たします。

1.1 ビジネスの推進要因

ビジネス推進要因: ビジネス継続性の確保

1.2 目的と原則

目標：

1. データのライフサイクル全体を通じてデータの可用性を管理します。
2. データ資産の整合性を確保します。
3. データトランザクションのパフォーマンスを管理します。

DBA が従うべきガイドライン:

1. 自動化の機会を特定し、それに対処します。
2. 再利用を念頭に置いて構築します。
3. ベスト プラクティスを理解し、適切に使用します。
4. データベースの標準要件をサポートします。
5. プロジェクトにおける DBA の役割に対する期待を設定します。 

1.3 基本概念

データベース用語:

1. データベース: データベースは保存されたデータの集合です。一部の大規模なデータベースは「インスタンス」または「スキーマ」とも呼ばれます。
2. 例: データベース ソフトウェアを使用して、特定のストレージ領域へのアクセスを制御します。組織では、異なるストレージ領域を使用して複数のインスタンスを同時に実行することがよくあります。各インスタンスは他のすべてのインスタンスから独立しています。
3. スキーマ: データベースまたはインスタンス内のデータベース オブジェクトのサブセット (サブセット) です。スキーマは、データベース オブジェクトを管理可能なコレクションに編成するために使用されます。通常、スキーマにはユーザーと、スキーマのコンテンツにアクセスするための特定のアクセス リストがあります。スキーマの一般的な用途は、機密データを含むオブジェクトを一般ユーザー ベースから分離すること、または読み取り専用ビューをリレーショナル データベースの基礎となるテーブルから分離することです。スキーマは、同様のデータベース構造のコレクションを表すこともできます。
4. ノード: データを処理または保存する分散データベースの一部として機能する単一のコンピューター。
5. データベースの抽象化: 通常、データベース関数を呼び出すには、共通のアプリケーション インターフェイス (API) が使用されます。データベース抽象化の利点は、移植性が高いことですが、欠点は、データベース固有の関数の一部がライブラリ間で使用するのが難しいことです。

データ ライフサイクル管理:データ ライフサイクル管理には、データの取得、移行、保持、有効期限、および廃棄の実装ポリシーとプロセスが含まれます。賢明なアプローチは、すべてのタスクが高水準かつ高品質で完了していることを確認するためのチェックリストを作成することです。DBA は、変更が失敗した場合に変更を元に戻せるロールバック計画を立てておく必要があります。

管理者:

DBA: DBA は、開発環境、テスト環境、QA 環境、その他の特殊なデータベース環境のサポートを提供します。データの保存と操作のアクティビティを独立して完了する唯一の役割ではありません。

• タイプ：
  • 本番 DBA:本番 DBA は主にデータ運用管理を担当します。
    • 仕事：
      • 1) パフォーマンスのチューニング、監視、エラー報告、その他のアクティビティを通じてデータベースのパフォーマンスと信頼性を確保します。
      • 2) バックアップとリカバリのメカニズムを確立することで、予期せぬ状況でもデータを確実にリカバリできるようにします。
      • 3) クラスターとフォールト トレラント メカニズムを確立することで、データの継続的な可用性を確保します。
      • 4) データアーカイブメカニズムの確立など、その他のデータベースメンテナンスアクティビティを実行します。
    • 結果：
      • 1) 本番データベース環境では、パフォーマンスを確保し、適切なセキュリティ、信頼性、可用性レベルを構成します。データベース システム管理者は DBMS 環境を担当します。
      • 2) データベース実装変更のメカニズムとプロセスを制御します。
      • 3) データの整合性、可用性、回復を保証するメカニズムを確立します。
      • 4) エラー検出および報告メカニズムを確立します。
      • 5) サービス レベル アグリーメント (SLA) に適合したデータベース サービスを提供します。
      • 6) パフォーマンス監視のメカニズムとプロセスを確立します。
  • アプリケーション DBA:特定の環境のデータベース システムの管理を任されるのではなく、すべての環境 (開発、テスト、QA、本番) で 1 つ以上のデータベースを担当します。
  • プロセスおよび開発 DBA:データベースのプロセス オブジェクトのレビューと管理を担当します。
  • ネットワーク ストレージ管理者 NSA:データ ストレージ アレイをサポートするソフトウェアとハ​​ードウェアに注意してください

アプリケーション DBA とプロセスおよび開発 DBA は、総称して開発 DBA と呼ばれることがよくあります。

データスキーマタイプ:

• 集中データベース
• 分散データベース:
  • 1) 連邦（自治）
    • フェデレーション データベースは、企業情報の統合、データの視覚化、パターン マッチング、マスター データ管理などの異種分散統合プロジェクトに非常に適しています。疎結合と密結合
  • 2) ブロックチェーン データベース: ブロックチェーン データベースはフェデレーテッド データベース (自律型)であり、単一レコードとブロックの 2 つの構造タイプがあります。
  • 3) 可視化・クラウドコンピューティングプラットフォーム
    • クラウド上にデータベース メソッドを実装します。
      • 仮想マシンのイメージ。
      • サービスとしてのデータベース DaaS。
      • ホストされたクラウド上のデータベースを管理する

データ処理タイプ:

• ACID:一貫性を重視 C
  • 1) 原子性。
  • 2) 一貫性。
  • 3) 孤立。
  • 4) 耐久性
• BASE：使いやすさ重視A
  • 1) 基本的に利用可能です。
  • 2) ソフトな状態。
  • 3) 最終的な整合性
• CAP：以下の3つから2つお選びください
  • 1) 一貫性。
  • 2) 可用性。
  • 3) パーティショントレランス。

CAP の場合、Lambda アーキテクチャは、可用性とパーティションのフォールト トレランスがより重要な場合はスピード パスを使用し、一貫性と可用性がより重要な場合はバッチ パスを使用します。

データストレージメディア:

1. ディスクおよびストレージ エリア ネットワーク SAN。
2. メモリ。
3. 列圧縮スキーム。
4. フラッシュメモリー

データベース環境:

• 本番環境。
• 非実稼働環境
  • 開発環境。
  • テスト環境。
    • 使用：
      • 1) 品質保証テスト (QA)。
      • 2) 統合テスト。
      • 3) ユーザー受け入れテスト (UAT)。
      • 4) パフォーマンステスト。
  • データ サンドボックスまたは実験環境。

データベース組織モデル:

• 1 階層型データベース: XML で使用される階層モデル
• 2 リレーショナルデータベース：RDBMS
  • 多次元データベース: データ ウェアハウジング (DW) とビジネス インテリジェンス (BI) で最も一般的に使用されます。
  • 一時的なデータベース。
    • 特徴
      • 1) 有効時間
      • 2) 取引時間
• 3 非リレーショナルデータベース: NoSQL
  • カラムデータベース。
  • 空間データベース。
  • オブジェクト/マルチメディア データベース。
  • フラットファイルデータベース。
  • キーと値のペア。
  • トリプル収納。

専用データベース:

1. コンピュータ支援設計および製造 (CAD)
2. 地理情報システム (GIS)
3. ショッピングカート機能

一般的なデータベース手順:

• 1 データアーカイブ。
  • 安全なアプローチ:
    • 1) 補助記憶域を、できれば補助データベース サーバー上に作成します。
    • 2) 現在のデータベーステーブルをアーカイブ可能なユニットに分割します。
    • 3) 使用頻度の低いデータを別のデータベースにコピーします。
    • 4) テープまたはディスクのバックアップを作成します。
    • 5) データベースタスクを作成し、使用されなくなったデータを定期的にクリーンアップします。
• 2 容量と成長の予測。
• 3 データキャプチャを変更します。
  • 変更を検出して収集する方法:
    • 1) データ バージョン管理: 変更された行を識別する列 (たとえば、最終更新タイムスタンプを持つ列、バージョン番号を持つ列、ステータス識別子を持つ列) を評価します。
    • 2) ログ (Logs) を読み取ることによって。変更はログに記録され、セカンダリ システムに複製できます。
• 4 データクリア。
• 5 データコピー
  • 2つのモード
    • 1) アクティブコピー。
    • 2) パッシブコピー
  • 2 次元での展開方法:
    • 水平方向のデータ拡張。
    • 垂直方向のデータ拡張
  • コピー方法：
    • 鏡。
    • ログの配布。
• 6 回復力と回復力
  • すぐに復元してください。
  • クリティカル回復。
  • クリティカルではない回復。
• 7 データの保持。
• 8 つのデータシャード。

2. 活動内容

データの保管と運用には、データベース技術サポートとデータベース運用サポートという 2 つの主な活動が含まれます。データベース技術サポートは、データを保存および管理するためのソフトウェアの選択と保守に重点を置き、データベース運用サポートはソフトウェアによって管理されるデータとプロセスに重点を置きます。

2.1 管理データベース技術

データベースの技術的特性を理解する: データ専門家は、ソリューションとしてどのテクノロジーを推奨するかを決定する前に、候補となるデータベース テクノロジーの特性を理解する必要があります。

データベーステクノロジーを評価する:

• 技術的要因:
  • 1) 製品のアーキテクチャと複雑さ
  • 2) データストリーミング速度を含む容量と速度の制限。
  • 3) トランザクション処理、ビジネス インテリジェンス、個人データなどのアプリケーション カテゴリ。
  • 4) 時間計算サポートなどの特別な機能。
  • 5) ハードウェア プラットフォームとオペレーティング システムのサポート
  • 6) ソフトウェアサポートツールの利用可能性。
  • 7) リアルタイム統計を含むパフォーマンス測定。
  • 8) スケーラビリティ
  • 9) ソフトウェア、メモリ、ストレージの要件
  • 10) エラー処理とエラー報告を含む復元力
• その他の要因:
  • 1) テクノロジーリスクに対する組織の好み。
  • 2) よく訓練された技術専門家を提供します。
  • 3) ソフトウェアライセンス料、保守料、コンピューティングリソースコストなどの所有コスト
  • 4) サプライヤーの評判
  • 5) サプライヤーのサポート戦略とバージョン計画。
  • 6) その顧客事例。

データベーステクノロジーの管理と監視

2.2 データベース操作の管理

DBA およびネットワーク ストレージ管理者によって提供されるデータベース サポートは、データ管理の中心です。
DBA は、ストレージ構造の割り当て、物理データベース (物理データ モデルおよび特定のファイルまたはディスク領域への割り当てなどのデータの物理的分散を含む) の保守、サーバー上でのデータベース環境の確立によって、さまざまなデータ ストレージ アプリケーションを管理します。

要件を理解する:

• (1) ストレージのニーズを定義します: 永続的または一時的、初期容量、スペース増加予測、データ保持コンプライアンス、データ保持コンプライアンス。
• (2) 使用パターンを特定します。
  • 一般的な使用パターン
    • 1) トランザクションベース。
    • 2) 大規模なデータセットに基づく読み取りまたは書き込み
    • 3) 時間タイプに基づく（月末の高気圧、週末の低気圧など）。
    • 4) ロケーションベース（人口密集地での取引増加など）
    • 5) 優先順位ベース (特定の部門または特定のバッチ プロセスの優先度が比較的高い)。
• (3) アクセス要件を定義します。 

事業継続計画:

• データ損失または破損のシナリオ:
  • 1) 物理データベース サーバーに障害が発生します。
  • 2) 1 つ以上のディスクストレージデバイスに障害が発生した場合
  • 3) メインデータベース、一時保存データベース、トランザクションログなどのデータベース障害。
  • 4) データベースのインデックスまたはデータ ページが破損しています。
  • 5) データベースおよびログセグメントのファイルシステムに障害が発生します。
  • 6) データベースまたはトランザクションログのバックアップファイルが不正です。
• 継続性の手順を計画します。
  • 1) データのバックアップ
  • 2) データを回復する

データベース インスタンスを作成します。

• DBA はデータベース インスタンスの作成を担当します。活動には次のものが含まれます。
  • 1) DBMS ソフトウェアをインストールして更新します。
  • 2) 異なる DBMS バージョンを含む複数の環境でインストールを維持します。
  • 3) 関連するデータテクノロジーをインストールして管理します。
    • (1) 物理的なストレージ環境の管理
      • 要件: 従来のソフトウェア構成管理 (SCM) プロセスまたは情報技術インフラストラクチャー・ライブラリー (ITIL) の方法に従って、データベース構成、構造、制約、権限、しきい値などの変更を記録します。
      • SCM の手順:
        • 1) 構成の識別
        • 2) 構成変更制御
        • 3) 構成ステータスレポート
        • 4) 構成監査: タイプには、物理​​構成監査と機能構成監査が含まれます。
    • (2) 管理データのアクセス制御
      • 監修内容：
        • 1) 管理された環境。
        • 2) 物理的なセキュリティ。
        • 3) モニタリング。
        • 4) コントロール。
    • (3) 保存容器を作成します。
    • (4) 物理データモデルを適用します。
    • (5) データをロードします。
    • (6) データの複製を管理します。
      • レプリケーション プロセスに影響を与える決定に関する推奨事項:
        • 1) アクティブまたはパッシブ コピー。
        • 2) 分散データ システムに基づく分散同時実行制御。
        • 3) データ変更制御プロセスにおいて、タイムスタンプまたはバージョン番号を通じてデータ更新を識別するための適切な方法。

データベースのパフォーマンスを管理する:

• データベースのパフォーマンスを管理する手順:
  • 1) オペレーティング システムとアプリケーションのパラメータを設定および最適化します。
  • 2) データベース接続を管理します。
  • 3) システム開発者やネットワーク管理者と協力して、オペレーティング システム、ネットワーク、トランザクション処理ミドルウェアを最適化します。
  • 4) 適切な保管場所を提供します。
  • 5) 容量増加予測を提供します。
  • 6) システム管理者と協力して、SLA 管理、料金プラン、サーバー容量、計画されたライフサイクル ローテーションをサポートするための運用ワークロードとベースラインを提供します。
    • (1) データベースのパフォーマンスのサービス レベルを設定します。
    • (2) データベースの可用性を管理します。
      • ユーザビリティ要因
        • 1 管理性。
        • 2 復元性。
        • 3 信頼性。
        • 4 保守性
      • データの可用性に影響を与える要因:
        • 1 計画されたダウンタイム。
        • 2 計画外のダウンタイム。
        • 応用問題は3つ。
        • 4 データの問題。
        • 5 人的ミス。
      • 可用性を確保するためのツールと方法:
        • 1 データベース バックアップ ツールを実行します。
        • 2 データベース再編成ツールを実行します。
        • 3. 統計情報収集ツールを実行します。
        • 4 データ整合性チェックツールを実行する
        • 5 これらのツールを自動化します。
        • 6 表スペースのクラスタリングとパーティショニングを利用する
        • 7 高可用性を確保するためのデータベース間のレプリケーション
    • (3) データベースの運用を管理します。
    • (4) データベースのパフォーマンスのサービス レベルを維持します。
      • トランザクションのパフォーマンスとバッチのパフォーマンス
      • バグの修正
        • データベースのパフォーマンス低下の一般的な原因:
          • 1 メモリの割り当てと競合。
          • 2 ロックとブロック。
          • 3 データベース統計が不正確です。
          • 4 不正なコード。
          • 5 非効率的で複雑なテーブル結合。
          • 6 不適切なインデックス作成。
          • 7 アプリケーションアクティビティ。
          • 8 サーバーが過負荷になっています。
          • 9. データベースの変動性。
          • 10 制御不能なクエリ ステートメント。
    • (5) バックアップ環境を整備します。
      • 代替環境タイプ:
        • 開発環境
        • テスト環境
        • データサンドボックス
        • 代替実稼働環境

データ移行の管理:

1. 使いすぎたストレージ デバイス上のデータを別の環境に移動する
2. 必要に応じて、より高速なストレージ デバイスにデータを移動します。
3. データのライフサイクル管理戦略を実装します。
4. 古いストレージ デバイス (廃止されたか、リース期間が終了したかに関係なく) からオフライン ストレージまたはクラウド ストレージにデータを移行します。

3. ツール

ツール:

1. データモデリングツール
2. データベース監視ツール
3. データベース管理ツール
4. 開発支援ツール

4. 方法

方法：（コンテキスト図に基づく）

1. 実装パスを変更します。
2. 物理的な命名基準。
3. データのライフサイクル管理。
4. すべての変更操作はスクリプト化されています

5. 導入ガイド

5.1 準備状況評価/リスク評価

中心的なアイデア:

1. データが失われた
2. 技術的な準備

6. データの保管と運用管理

6.1 指標

メトリクス:

• データストレージのメトリクス
  • 1) データベースの種類の数。
  • 2) トランザクション統計の概要。
  • 3) 容量指数。
  • 4) 使用されているストレージの量。
  • 5) 保管コンテナの数。
  • 6) データ オブジェクト内のコミット済みおよびコミットされていないブロックまたはページの数。
  • 7) データキュー。
  • 8) ストレージサービスの使用。
  • 9) ストレージサービスに対するリクエストの数
  • 10) サービスを使用するアプリケーションのパフォーマンスの向上。
• パフォーマンス指標
  • 1) 取引頻度と取引量
  • 2) クエリのパフォーマンス
  • 3) APIサービスのパフォーマンス
• 運用指標
  • 1) データ取得時間に関する要約統計。
  • 2) バックアップサイズ
  • 3) データ品質評価
  • 4) 可用性
• サービスメトリクス
  • 1) タイプ別の問題の提出、解決、エスカレーションの数。
  • 2)解決までの時間を尋ねる