「データガバナンス何か」シリーズII:データガバナンス、データ保持「このアカウントは、」確かに安定しています!

:この記事では、主からのデータ管理基盤とコアの一つであるメタデータは、以下の観点から詳細に説明拡大を開始します:

  • メタデータの概念

  • そして、メタデータの配布を集めます

  • シーンメタデータの実用化の一部

まず、最後にメタデータがGeshaありますか?

私が言う場合:メタデータ(メタデータ)は、データが記載されています通行人ピンクのフレーズ「早口言葉」を参照してください。祝福技術的な背景が、心はこのアイデアをemergeしない場合があります。

「データガバナンス何か」シリーズII:データガバナンス、データ保持「このアカウントは、」確かに安定しています!

単純に、実際には、このデータのメタデータアカウントの同等

その本の何アカウント?さらに、そのようなので、上の父と息子、兄と妹、そして血液の絆、この男と彼の家族は、そこにある、人の名前、年齢、性別、×××番号などの基本的な記述情報が含まれています。一緒にこの情報のすべてが、これらは個々の包括的な説明を構成する、それはまた、この人物のメタデータを呼び出すことができます。

我々は、特定のテーブルに実際のデータの明確な説明をしたい場合は同様に、例えば、私たちはテーブル名を知っている必要があり、表の別名の物理的な位置、主キー、インデックス、テーブルがあるフィールドのテーブル、データストレージ、の所有者、その上、テーブルと他のテーブルとの間のこの関係。一緒にこの情報のすべてが、これはメタデータテーブルです。このようなアナロジーは、メタデータの概念は、私たちは多くのことを知っているかもしれません:メタデータは、このデータのアカウントです

第二に、メタデータ管理

これは、コアと基礎データガバナンスであります

あなたが情報を習得しなければならないものを今、戦争中に軍を聞かせ、そして場合は?はい、戦場のマップが不可欠です!地図データの全て同等の間でのデータ管理とメタデータ。

「データガバナンス何か」シリーズII:データガバナンス、データ保持「このアカウントは、」確かに安定しています!

このデータ上のマップでは、我々は知っていることができます。

  • 私たちは、どのようなデータを持っていますか?

  • どこにデータ配信?

  • これらのデータは、どのようなタイプですか?

  • データ間の関係は何ですか?

  • どのようなデータがしばしば引用されていますか?誰がどのようなデータをひいきにするには?

    ......

所以,如果我们做数据治理,却没有掌握这张地图,就犹如瞎子摸象。后续的文章中我们要讲到的数据资产管理,知识图谱,其实大部分也是建立在元数据之上的。所以我们说:元数据是一个组织内的数据地图,它是数据治理的核心和基础

三、元模型又是谁?

元模型(Meta Model),是描述元数据的数据。它与元数据、数据之间的关系,可以用下面这张图来描述。

「データガバナンス何か」シリーズII:データガバナンス、データ保持「このアカウントは、」確かに安定しています!

对于元模型的概念,我们不做深入的讨论。我们只需要知道下面这些:元数据本身的数据结构也是需要被定义和规范的,定义和规范元数据的就是元模型,国际上元模型的标准是 CWM(Common Warehouse Metamodel,公共仓库元模型),一个成熟的元数据管理工具,需要支持 CWM 标准

以下内容理解难度升级,请各位技术小白谨慎阅读

如有不懂,蒋老师后台单独辅导!

四、元数据从哪来?

在大数据平台中,元数据贯穿大数据平台数据流动的全过程,主要包括数据源元数据、数据加工处理过程元数据、数据主题库专题库元数据、服务层元数据、应用层元数据等。下图以一个数据中心为例,展示了元数据的分布范围:

「データガバナンス何か」シリーズII:データガバナンス、データ保持「このアカウントは、」確かに安定しています!

业内通常把元数据分为以下类型:

  • 技术元数据:库表结构、字段约束、数据模型、ETL 程序、SQL 程序等。

  • 业务元数据:业务指标、业务代码、业务术语等。

  • 管理元数据:数据所有者、数据质量定责、数据安全等级等。

元数据采集是指获取数据生命周期中的元数据,对元数据进行组织,然后将元数据写入数据库中的过程。使用包括数据库直连、接口、日志文件等技术手段,对结构化数据的数据字典、非结构化数据的元数据信息、业务指标、代码、数据加工过程等元数据信息进行自动化和手动采集。元数据采集完成后,被组织成符合 CWM 模型的结构,存储在关系型数据库中。

五、有了元数据,我们能做些什么?

先看一张元数据管理的整体功能架构图,有了元数据,我们能做些什么,从这张图里一目了然:

「データガバナンス何か」シリーズII:データガバナンス、データ保持「このアカウントは、」確かに安定しています!
(如果你没看懂,请来评论区告诉我)

① 元数据查看

一般是以树形结构组织元数据,按不同类型对元数据进行浏览和检索。如我们可以浏览表的结构、字段信息、数据模型、指标信息等。通过合理的权限分配,元数据查看可以大大提升信息在组织内的共享。

② 数据血缘和影响性分析

数据血缘和影响性分析主要解决「数据之间有什么关系」的问题。因其重要价值,有的厂商会从元数据管理中单独提取出来,作为一个独立的重要功能。但是考虑到数据血缘和影响性分析其实是来自于元数据信息,所以还是放在元数据管理中来描述。

血缘分析指的是获取到数据的血缘关系,以历史事实的方式记录数据的来源,处理过程等。以某张表的血缘关系为例,血缘分析展示如下信息:

「データガバナンス何か」シリーズII:データガバナンス、データ保持「このアカウントは、」確かに安定しています!

数据血缘分析对于用户具有重要的价值,如:当在数据分析中发现问题数据的时候,可以依赖血缘关系,追根溯源,快速地定位到问题数据的来源和加工流程,减少分析的时间和难度

数据血缘分析的典型应用场景:某业务人员发现「月度营销分析」报表数据存在质量问题,于是向 IT 部门提出异议,技术人员通过元数据血缘分析发现「月度营销分析」报表受到上游 FDM 层四张不同的数据表的影响,从而快速定位问题的源头,低成本地解决问题。

「データガバナンス何か」シリーズII:データガバナンス、データ保持「このアカウントは、」確かに安定しています!

除了血缘分析之外,还有一种影响性分析,它能分析出数据的下游流向。当系统进行升级改造的时候,如果修改了数据结构、ETL 程序等元数据信息,依赖数据的影响性分析,可以快速定位出元数据修改会影响到哪些下游系统,从而减少系统升级改造带来的风险。从上面的描述可以知道:数据影响性分析和血缘分析正好相反,血缘分析指向数据的上游来源,影响性分析指向数据的下游

影响性分析的典型应用场景:某机构因业务系统升级,在“FINAL_ZENT ”表中修改了字段:TRADE_ACCORD 长度由 8 修改为 64,需要分析本次升级对后续相关系统的影响。对元数据“FINAL_ZENT”进行影响性分析,发现对下游 DW 层相关的表和 ETL 程序都有影响,IT 部门定位到影响之后,及时修改下游的相应程序和表结构,避免了问题的发生。由此可见,数据的影响性分析有利于快速锁定元数据变更带来的影响,将可能发生的问题提前消灭在萌芽之中。

「データガバナンス何か」シリーズII:データガバナンス、データ保持「このアカウントは、」確かに安定しています!
③ 数据冷热度分析

冷热度分析主要是对数据表的被使用情况进行统计,如:表与ETL 程序、表与分析应用、表与其他表的关系情况等,从访问频次和业务需求角度出发,进行数据冷热度分析,用图表的方式,展现表的重要性指数。

ユーザーに大きな価値のホットとコールド分析データ、典型的なアプリケーションのシナリオ:我々は、ユーザーができ、長期的な資源アイドルのデータの一部は、任意のアプリケーション、状態を使用する他のプログラムは、この時間を呼び出すことがないことを観察しました手動分析と組み合わせたホットとコールドのレポートの参照データは、ホットとコールドデータの程度が異なるが、階層型ストレージを行い、HDFSは、資源の有効活用を作るために、または失われたデータの値のこの部分は、データを保存するために、オフライン処理を行うかどうかを評価します収納スペース。

「データガバナンス何か」シリーズII:データガバナンス、データ保持「このアカウントは、」確かに安定しています!

④地図データ資産

メタデータの処理により、データ資産は、マップ・アプリケーションを形成することができます。地図データ資産は、一般に、マクロレベルで情報を整理するために使用され、データ、データの変更、データストレージ、全体的なデータ品質情報、リファレンスデータ管理及び意思決定の量を表示するソート、マージ情報をグローバルな視点

他のアプリケーション⑤メタデータ管理

:メタデータ管理のような他の重要な機能の数が存在するメタデータ変更管理 ;ようにする前に、比較のために、バージョンの変更後、メタデータクエリの変更履歴、及び、メタデータ比較分析同様のメタデータ率のを以下のための、メタデータの統計的分析は、このようなデータ、数、ユーザーフレンドリーな制御要約情報メタデータのすべての種類のタイプなどのメタデータの様々なタイプ、数の統計。このようなアプリケーションでは、いくつかの名前を付けます。

まとめることが6つ、

「データガバナンス何か」シリーズII:データガバナンス、データ保持「このアカウントは、」確かに安定しています!

著者について:ジェーン江ボー、6年+ビッグデータの管理経験、科学的かつ合理的なデータ管理ソリューションを顧客に提供を専門としています。彼はLongtop、アイソフトストーン、データウェアハウス、BI、ビッグデータプラットフォーム、データ管理および他のプリセールスコンサルティング業務を構築するための責任が一般的なメタ情報会社のために働いていた、政府はその上の業界、電力の経験、製造、があります。ビッグデータプラットフォームは現在、いくつかのLAN技術におけるプリセールスコンサルティングの仕事として機能します。

おすすめ

転載: blog.51cto.com/14463231/2425153