一、数据库技术的发展
数据模型是数据库系统的核心和基础,以数据模型的发展为主线,数据库技术可以分为三个发展阶段,即第一代的网状、层次数据库系统,第二代的关系数据库系统,以及新一代的数据库系统。
1、第一代数据库系统
层次数据库系统和网状数据库系统的数据模型虽然分别为层次模型和网状模型,但实质上层次模型是网状模型的特例,它们都是格式化模型,它们从体系结构、数据库语言到数据存储管理均具有共同特征。这两类数据库的共同特点有:
① 支持三级模式(外模式、模式和内模式)的体系结构,模式之间具有转换功能;
② 用存取路径来表示数据之间的联系;
③ 独立的数据定义语言,可以描述数据库的三级模式以及相互映像;
④ 导航的数据操纵语言,层次和网状数据库的数据查询和数据操纵语言是一次一个记录的导航式的过程化语言,这类语言通常嵌入某一种高级语言,例如:COBOL、FORTRAN、C语言中。
2、第二代数据库系统
支持关系数据模型的关系数据库系统是第二代数据库系统。关系数据库是以关系模型为基础的,而关系模型是由数据结构、关系操作和数据完整性三部分组成。关系模型不仅简单、清晰,而且由关系代数作为语言模型,由关系数据理论作为理论基础。
3、新一代数据库系统
1990年高级DBMS功能委员会发表的《第三代数据库系统宣言》提出了第三代数据库应具备的基本特征如下:
① 第三代数据库应支持数据管理、对象管理和知识管理;
② 第三代数据库系统必须保持或继承第二代数据库系统的技术;
③ 第三代数据库系统必须对其他系统开放。
二、数据仓库与数据挖掘
计算机系统中存在着两类不同的数据处理工作:一类是操作型处理,也称为联机事务处理,它是针对具体业务在数据库联机的日常操作;另一类是分析型处理,也称为联机分析处理,一般针对某些主题的历史数据进行分析,支持管理决策。
特性 | OLTP | OLAP |
特征 | 操作处理 | 信息处理 |
面向 | 事务 | 分析 |
用户 | 办事员、DBA、数据库专业人员 | 知识工人、分析员 |
功能 | 日常操作 | 长期信息需求,决策支持 |
DB设计 | 基于E-R,面向应用 | 星形、雪花,面向主题 |
数据 | 当前的,确保最新 | 历史的,跨时间维护 |
汇总 | 原始的,高度详细 | 汇总的,统一的 |
视图 | 详细,一般关系 | 汇总的,多维的 |
工作单位 | 短的、简单事务 | 复杂查询 |
存取 | 读写 | 大多为读 |
关注 | 数据进入 | 信息输出 |
操作 | 主关键字上索引、散列 | 大量扫描 |
访问记录数 | 数十个 | 数百万个 |
用户数 | 数千 | 数百 |
DB规模 | 100MB到GB | 100GB到TB |
优先 | 高性能,高可用性 | 高灵活性,端点用户自治 |
度量 | 事务吞吐量 | 查询吞吐量,响应时间 |
更多关于数据仓库和数据挖掘的内容可以参考: https://blog.csdn.net/lanhui_1996/article/details/77835942
三、大数据管理技术
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
关于更多大数据的信息可以参考:https://blog.csdn.net/u013977285/article/details/71368367