著者 Xia Junwei Alibaba Cloud シニア プロダクト エキスパート / Zheng Junzheng Alibaba Cloud シニア テクニカル エキスパート
マテリアライズド ビューとは
MaxCompute マテリアライズド ビューは、結果データを事前計算して保存するデータ オブジェクトであり、「マテリアライズド ビュー」とも呼ばれます。マテリアライズド ビューは MaxCompute プロジェクト内の仮想テーブルとして存在でき、その内容は 1 つ以上のテーブルの集計、フィルタリング、および結合の組み合わせの計算結果です。マテリアライズド・ビューにより、クエリーの処理時間が大幅に短縮され、ジョブのコンピューティング・リソースが節約されます。MaxCompute オプティマイザの強力な自動クエリー書き換え機能に基づいて、ジョブがマテリアライズド・ビューの結果を再利用できる場合、オプティマイザーは一部の複雑な操作をマテリアライズド・ビューの読み取りに自動的に置き換えます。ジョブの実行速度が向上し、ジョブのコンピューティング リソースが節約されます。
マテリアライズド・ビュー・インテリジェント・レコメンデーションとは
マテリアライズド ビューを使用するには、マテリアライズド ビューの動作原理をより深く理解する必要があるだけでなく、ビジネス データの動作とビジネス データの使用シナリオも理解する必要があるため、一般のユーザーがマテリアライズド ビューを使用するのには一定の困難が伴います。
MaxCompute のマテリアライズド ビューのインテリジェントな推奨により、ユーザーが認識することなくマテリアライズド ビューをプロセスベースで使用できるようになります。ユーザーがマテリアライズド ビューのインテリジェントな推奨を有効にすると、MaxCompute はユーザーのビジネス データ使用シナリオを自動的に分析し、マテリアライズド ビューを自動的に推奨し、マテリアライズド ビューの使用効果を視覚化できます。マテリアライズド ビューを使用すると、しきい値が大幅に下がりますが、マテリアライズド ビューの使用シナリオも増えます。
マテリアライズド・ビューのインテリジェントなレコメンデーションの機能
· 使いやすく、ユーザーはマテリアライズド ビューの基礎となる作業の詳細を理解する必要はありません。独自のプロジェクトを選択するだけで、自動インテリジェント分析を開始できます。
インテリジェントなMaxCompute は、ユーザーの履歴ジョブを自動的に分析し、定期的なジョブを自動的に識別し、ジョブ セット内の共通コンピューティング ロジックをマテリアライズド ビュー コンピューティング ロジックとしてインテリジェントに抽出し、最終的にそれをユーザー フレンドリーな SQL テキスト形式に変換し、それに従って並べ替えて表示します。ユーザーへの推奨度。
· 管理が簡単: MaxCompute コンソールは、機能のアクティブ化、マテリアライズド ビューの管理、マテリアライズド ビューの使用効果の表示をワンストップで提供します。
マテリアライズド・ビューのインテリジェントな推奨のシナリオ
データガバナンス
エンタープライズビジネスの発展に伴い、企業のビジネスデータはますます増大し、各部門はデータに対するさまざまなデータ分析ニーズを抱えていますが、日々の利用プロセスにおいては、各部門がある程度のデータを利用することになります。同じロジックです。
二重カウント部分は計算ロジック全体の一部にすぎない可能性があるため、日常ユーザーやビッグ データ プラットフォーム管理者にとって二重カウントを見つけることは困難です。二重計算が見つかった場合の修正も難しく、二重計算テーブルを再抽象化すると、下流の依存ジョブを変更する必要があり、テストがオンラインになります。余分な作業負荷がかかるため、データ ガバナンスの推進が困難になります。
マテリアライズド ビューのインテリジェント推奨機能を使用すると、MaxCompute がプロジェクト内にどの共通コンピューティング ロジックが存在するかを自動的に分析して推奨し、ユーザーがマテリアライズド ビューを作成できるようにします。アプリケーション上でマテリアライズド ビューの計算結果を変更する必要はありません。本来のロジック。
例えばマテリアライズドビューがない場合、下図のようにTab4とTab5の計算における角柱と円形の部分のロジックが二重計算となり、下図では2重に計算されます。
マテリアライズド ビュー MV1 の作成後、ひし形と円のロジックが 1 回だけ計算されるため、計算リソースが節約され、計算速度が向上します。
スマートなデータモデリング
従来のビッグデータ処理では、最初のステップとして、テクノロジーとビジネスの両方を理解しているデータ分析の専門家によってデータ ウェアハウスを構築し、データ ウェアハウスを階層化します。通常のモデルは、ソース レイヤー、詳細レイヤー、概要レイヤー、アプリケーション レイヤーなどに分かれています。 .; モデル法には次の欠点があります。
1) モデル構築の品質は計算の有効性に直接影響し、モデリングの専門家に大きく依存します。
2) 同時に、ビジネスの発展とデータの増加に伴い、モデルがあまり適切でなくなることは避けられず、モデルが再度変更されると、既存のタスク全体に影響が及びます。
3) リソースの無駄 一部のモデルは構築された後、それを使用する人がほとんどまたはまったくいないため、モデル全体のコンピューティング リソースとストレージ リソースが無駄になります。
マテリアライズド ビューのインテリジェントなレコメンデーションを使用すると、ユーザーは事前にモデル化するために専門家に頼る必要がありません。インテリジェントな自動モデリングを実現できます。ユーザーがデータを使用すると、バックエンドが自動的に反復計算ロジックを分析し、MaxCompute がマテリアライズド ビューの作成を自動的に推奨して、真に柔軟で高速な自動モデリングを実現します。ユーザーは、データ ストレージやコンピューティング リソースの使用効率などの問題を心配する必要がなくなり、ビジネスの開発に集中できるようになります。特に中小企業の場合、データ モデリングの学生を追加で募集する必要はなく、MaxCompute のマテリアライズド ビューによって全員がインテリジェントに推奨されます。
データレポート/カンバン
マテリアライズド ビューのインテリジェント レコメンデーションは、ユーザーの BI インテリジェント レポート/カンバンの高速化機能も提供します。MaxCompute は、ユーザーに対して繰り返し更新されるデータを自動的に分析し、マテリアライズド ビューの作成を推奨します。マテリアライズド ビューを使用すると、レポート/カンバンに必要なデータを事前に計算できます。レポート/カンバンを使用する必要がある場合は、レポート/カンバンを使用する必要があります。マテリアライズドビューを確認するためのルートを自動で書き換えるので、レポート/カンバンの応答時間を大幅に短縮できます。
マテリアライズド・ビューのインテリジェントなレコメンデーションの使用方法
マテリアライズド ビューのインテリジェント レコメンデーションは非常に簡単に使用でき、必要な手順は次のとおりです。
-
MaxComputeコンソールにログインし、左側のメニューの [マテリアライズド ビュー] をクリックします。
-
タブページ「設定」を選択し、スマート分析をオンにして、分析するプロジェクトの名前を追加します。
-
T+1 日後、タブページ「マテリアライズドビュー推奨」をチェックして、ユーザーの使用状況に基づいてシステムによって推奨されるパブリックサブクエリを表示します。
-
対応するサブクエリを選択してマテリアライズド ビューを作成します。
-
T+1日後、「マテリアライズド・ビュー管理」タブ・ページをチェックすると、どのクエリ計算がマテリアライズド・ビューを呼び出しているかを確認し、マテリアライズド・ビューの呼び出し前後の効果を比較できます。
マテリアライズド・ビューのインテリジェントなレコメンデーションの例
アリババ グループのデータ センター チームは、アリババ データ ウェアハウス全体の「パブリック レイヤー」の構築を担当しており、計算とストレージを節約するために、複数の下流企業が同じ結果テーブルにアクセスできるように、繰り返し計算のロジックを統合しようとしています。データ量の幾何級数的な増加とビジネスの複雑さにより、従来の「パブリック レイヤー」が当初想定していた状態を達成することが困難になっています。主な理由は次のとおりです。
-
見つけにくい
-
ロジックには類似性が存在しますが、結果テーブルは完全には利用できません
-
共通ロジックを手動で発見するのは困難
MaxCompute が開始したマテリアライズド ビューのインテリジェント レコメンデーション機能は、上記の問題を正確に解決します。MaxCompute のインテリジェントな推奨結果をマテリアライズド ビューに変換することで、データ センター チームは下流のジョブ間で繰り返される計算を大幅に削減し、多くのコンピューティング リソースを節約します。
マテリアライズド ビューのインテリジェント レコメンデーション機能の第 1 フェーズは、4 BU の合計 20 プロジェクトをカバーしており、マテリアライズド ビューにヒットしたジョブの平均コンピューティング リソース節約率は 14% です。詳しい実践事例は後ほどご紹介します。
マテリアライズド ビュー インテリジェント レコメンデーションの手順
マテリアライズド ビューですべての問題を解決できるわけではありませんが、ほとんどの場合、コンピューティング リソースの削減、コンピューティング速度の向上、コンピューティング コストの削減など、全体としてユーザーにプラスのメリットをもたらします。ただし、特定のクエリ計算では、ユーザーにマイナスの利益をもたらす可能性が低いため、ユーザーは次の点に注意する必要があります。
-
共通サブクエリがマテリアライズド ビューにマテリアライズされた後にデータ拡張が発生するかどうか。拡張が複数回以上発生する場合は、マテリアライズド ビューの使用は推奨されません。
-
後払いを使用するユーザーは、マテリアライズド ビューによりコンピューティング リソースと計算の複雑さが節約されますが、データの実体化プロセス中にデータ拡張が発生するとスキャン量が増加する可能性があるため、必ずしもデータ スキャン量が削減されるわけではないことに注意する必要があります。
【MaxCompute、データウェアハウスの構築をスピードアップする無料トライアルプランをリリース】新規ユーザーは5000CU*時間のコンピューティングリソースと100GBのストレージを0元で3か月間有効に利用できます。今すぐ入手>>
開発者は、ビッグ データ コンピューティングの MaxCompute コミュニティ ( https://developer.aliyun.com/group/maxcompute ) に参加することを歓迎します。