数据库和数据仓库联系和区别

1、前言

不能简单的说数据仓库是数据库的扩大版,它们是针对不同的服务而产生的,传统的 数据库 针对(OLTP)联机事务处理,主要应用与业务处理。而 数据仓库 针对(OLAP)联机分析处理,主要为决策服务。

数据仓库的本质还是一个数据库,它将各个异构的数据源数据库的数据给统一管理起来,并且完成了质量较差的数据的剔除、格式转换,最终按照一种合理的建模方式来完成源数据组织形式的转变,以更好的支持到前端的可视化分析。

2、来源

数据库一般存储 在线交易数据,数据仓库存储的一般是 历史数据

数据仓库中的数据来源归纳起来大体有3种:

  • 结构化数据:一般来自于数据库,比如MySQL等关系型数据库的表中保存的记录(rows)。即承担OLTP功能的数据载体。这类数据最好处理,因为数据表达方式作为规范,约束性最好。

  • 半结构化数据:该部分数据来源较多,包括用户行为日志(如app的页面访问记录)、平台或管理服务日志(tomcat、mysql等服务日志)等等,也包括存储于MongoDB等NoSQL数据库中的记录(Docs等)。这些数据一般以Json或XML等形式存在,在ETL时难度较大。

  • 非结构化数据:包括图片、音频、视频和网页等,这些数据非常复杂,信息量也很大,一般不会直接抽取出来直接保存到数仓中,而是记录他们的元数据信息(metadata),举图片为例,可能保存该图片的产生时间、格式、大小等等,至于图片本身,一般通过url链接保存在对象或文件存储系统中。

3、用途

数据库:主要用于 事务处理,即 OLTP(Transaction),也就是我们常用的面向业务的增删改查操作。常用的数据库有 Mysql,Oracle,PostgreSQL

数据仓库:主要用于 数据分析,即 OLAP(Analytics),供上层决策,常见于一些查询性的统计数据。常见的数仓有 Greenplum,Hive。基于MYISAM存储引擎的MySQL也是可以用来做数据仓库的。

4、特性不同

由于他们用途的不同,这也决定了他们具体不同的特点:

4.1 设计

数据库是为 捕获数据 而设计,数据仓库是为 分析数据 而设计。

数据仓库的方案建设的目的,是为前端查询和分析作为基础,由于有较大的冗余,所以需要的存储也较大。为了更好地为前端应用服务,数据仓库必须有如下几点优点,否则是失败的数据仓库方案。

  • 效率足够高。
  • 数据质量准确。
  • 扩展性很好。

4.2 优化

数据库:因为是 事务性 操作,所以一般是 读写优化

数据仓库:因为是 数据分析,需要对大量数据进行查询,所以一般仅仅是 读优化

4.3 数据量

数据库:读写 相对 简单,一次只是对 少量数据 进行操作

数据仓库:查询 相对 复杂,一次要对 大量数据 进行操作

猜你喜欢

转载自blog.csdn.net/a6661314/article/details/124720048