漫画:什么是数据仓库和ETL?






















一个故事


在很久很久以前,世界上生活着许多种族,有人类,有矮人,有精灵......他们有着不同的信仰,不同的文化,彼此相安无事。可是,有一个猥琐男却偏偏想要统治整个世界。


如何统治这么多不同文化信仰的种族呢?猥琐男想出一个馊主意,打造出几枚拥有魔力的戒指,免费送给不同种族的领袖,让他们可以更好地统治各自的族人。


当各个种族的领袖美滋滋地戴上各自的魔戒,走上人生巅峰的时候,猥琐男又打造出一枚独一无二的至尊魔戒。他利用至尊魔戒的力量控制了所有的魔戒,从而控制了各个种族的领袖,继而控制了整个世界。


这个故事告诉我们:数据库和数据仓库之间的关系。


如果说,那个世界的每一个生命个体都是一条数据记录,那么普通的魔戒的地位就好比是数据库,而至尊魔戒的地位就好比是数据仓库。







什么是数据仓库?


数据仓库,英文名称Data Warehouse,简写为DW。数据仓库顾名思义,是一个很大的数据存储集合,出于政府或企业的分析性报告和决策支持目的而创建,对多样的业务数据进行筛选与整合。它为需求单位提供一定的BI(商业智能)能力,指导业务流程改进、监视时间、成本、质量以及控制。


数据仓库的输入方是各种各样的数据源,最终的输出用于企业的数据分析、数据挖掘、数据报表等方向。


 

那么,数据仓库都有什么特点呢?


1.主题性

不同于传统数据库对应于某一个或多个项目,数据仓库根据使用者实际需求,将不同数据源的数据在一个较高的抽象层次上做整合,所有数据都围绕某一主题来组织。

这里的主题怎么来理解呢?比如对于政府民政低保管理部门,“居民家庭经济状况分析”就是一个主题,对于退役士兵管理部门“经济补助金统计分析”就是一个主题。


2.集成性

数据仓库中存储的数据是来源于多个数据源的集成,原始数据来自不同的数据源,存储方式各不相同。要整合成为最终的数据集合,需要从数据源经过一系列抽取、清洗、转换的过程。


3.稳定性

数据仓库中保存的数据是一系列历史快照,不允许被修改。用户只能通过分析工具进行查询和分析。


4.时变性

数据仓库会定期接收新的集成数据,反应出最新的数据变化。这和特点并不矛盾。




什么是ETL?


ETL的英文全称是 Extract-Transform-Load 的缩写,用来描述将数据从来源迁移到目标的几个过程:


1.Extract,数据抽取,也就是把数据从数据源读出来。


2.Transform,数据转换,把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下,Transform也包含数据清洗,清洗掉噪音数据。


3.Load  数据加载,把处理后的数据加载到目标处,比如数据仓库。




云坤科技有一款专业的WingconnETL

挺不错的,关键性价比很高。


WingconnETL

能很好的满足数据处理需要,价格却非常实惠,

在苏州政务大数据及多个市政府、发改委的大项目中均有应用。


WingconnETL简介:

WingconnETL是云坤科技面向数据集成领域推出的一款专业的 ETL工具软件,该工具软件可快速实现多种数据源的数据抓取、数据转换与处理、数据质量控制及目标数据库加载,将分散在不同业务不同系统应用中的数据整合成完整、一致、准确、可集中存取的数据,帮助企业级用户快速实现多个IT应用系统间的数据整合,满足企业用户对数据的准确性、有效性需求,为企业用户战略发展提供有效数据依据。

可以很好地支撑目前各大行业和领域的数据大集中、主题库、基础库、运营数据存储( ODS)等应用需求,也可以作为数据仓库、商业智能等应用的 ETL数据整合工具。

WingconnETL主要由集成开发工具、资源库、服务器、统一管理平台四部分构成,主要功能及特点有:

◎丰富的系统适配功能

◎提供强健的ETL引擎

◎丰富的处理组件

◎强大的监控管理功能

◎支持跨平台运行

◎支持多种数据抽取模式

◎资源统一存储

◎插件式组件管理和可扩展性


补充说明:

对于大数据方向,小编也仅仅了解皮毛,漫画中若存在错误或是描述不全面的地方,还请大家多多指正补充。


猜你喜欢

转载自blog.csdn.net/qq_40040366/article/details/80346445
今日推荐