大型数据库设计 学习笔记(一)chapter 引言

不参加考试,交一份报告。
教材:
① Database Principles,Programming, and Performance(在性能方面做的非常工程化,内容实际,但是英文阅读体验不太流畅)
② Database System
③Concepts(6th Edition) (标准教材)
④Database System Implementation(2th Edition)

大型数据库设计与实现

(一)主要学习内容:

1.第一部分 数据模型与数据库系统
Object-Relational SQL
弱点:冗余

2.第二部分 数据库管理系统实现技术
【本门课的重点】
Indexing——索引(B+树) 如果不使用索引,会拖慢数据库运行的速度(数据库优化的过程中最重要的结构)
【学硕的报告是关于这一部分的,而且需要编程】

② Query Processing——查询优化器(很大程度上影响相应速度)(另一部分的原因是数据库的架构有问题)

3.第三部分 数据库系统体系结构
DATABASE System Architecture
Parallel and Distributed Databases

4.第四部分 数据库新应用与新技术
数据湖,大数据的下一个变革
(数据的形式多种多样,数据的规模也越来越大)

(二)课程目标

面对海量数据压力,企业级数据库系统应该能够应对:
1) 性能调优:查询,操纵;
2) 架构优化:设计,存储。

(三)主流数据库产品

DB2

1)中国的银行大多数使用这一产品;
2)DB2适合范围广泛的系统;技术先进,侧重关键应用,电子商务,商务智能(IBM DB2 Intelligent Miner)和信息集成(IBM DB2 Warehouse Manager)等核心应用
3)和Oracle一样,拥有多个应用系统。

弱点:
开放性不好。它产生在 主机 上,IBM的主机一台会过一千万。性能非常稳定,主机的操作系统叫做OSZ,分行的小型机的操作系统叫做AS100,这些操作系统是针对机器的体系结构开发的,它们的编程语言是micro,所以是完全封闭的。

这两个操作系统写出来的数据,它只生成文件。生成的文件可以存放在多个磁盘上。 在UNIX上接入多个磁盘阵列,将本身磁盘上的内容映射到这些磁盘上。

Oracle【IBM开发】

1979年6月10日,全球第一个商用SQL关系数据库Oracle2 由RSI公司正式推出。

Sybase

Sybase公司是1984年成立的,属于后起之秀;
它推出了支持企业范围的“C/S体系结构”的数据库;
1987年推出的Sybase SQL Server。

MySQL开发源码系统

只使用于中小型网站,用于网站后台。

PostgreSQL【推】

开发源码数据DBMS;
适用于系统级研究;
在国外非常热,许多产品在投入市场之前会将数据投放在上面;
它由全球数据库开发,版权协议是BSD ,便于商业开发;
PostgreSQL拥有大型商用DBMS 里大多数特性:
① 事务,子查询,触发器,视图和复杂的锁等等;
② 用户定义类型,继承,规则和多版本并行控制以减少锁的争议。

国产数据库 OceanBase 云数据库

它是阿里巴巴和蚂蚁金服100%自主研发的金融级分布式关系数据库;

经过八年多的时间,从解决淘宝的收藏夹海量数据存储业务走到今天支撑支付宝的所有核心业务;

在金融行业首创“三地五中心”城市级故障自动无损容灾新标准。(容灾是运维方向。运维将成为一个行业。)

(四)TPC_C基准测试【世界最权威的基准测试】

  1. 数据库分为两类:OLTP 和 OLAP
    1) OLTP联机交易处理系统——带有实时交易,一般民生有关;
    2) OLAP

  2. 每个数据库厂商都试图向客户证明自己的系统性能最好,处理能力最强,但数据库厂商各自的性能测试数据都没有足够的说服力。

  3. TPC-C作为一个OLTP联机交易处理系统的benchmark是世界最权威的测试基准;

  4. TPC-C要求被测数据库必须满足数据库事务的ACID【A原子性(要么不做,要么全做)、C一致性、I隔离性、D持久性】;

① 隔离性为可串行化隔离级别;两个并发执行的事务,在执行的过程中不被彼此看到。
② 持久性要求能够抵御任何单点故障等;
③ TPC-C规定被测试数据库的性能与数据量成正比。
【(报告要关于B+树,写完的程序需要被测试,建立的索引数据至少要有一万行,用TPC-C )
(写程序来生成一百万行的数据)】

④ TPC-C要求被测数据库写事务的结果必须在一定时间内数据落盘。(不得出现数据不一致问题)
1) 对于具备chenkpoint功能的书库,chekpoint的间隔不得超过三十分钟;checkpoint数据持久化的时间不得超过chenckpoint间隔。
2) 一旦chenkpoint发现了数据不一致问题,checkpoint就会强制数据库暂停服务。

  1. TPC_C要求被测数据能够以平稳的性能长期地运行。
    ① 去掉启动预热(ramp up)和结束降速(ramp down)时间后,被测数据至少要性能平稳地运行8小时(steady state).

(五)A刊与顶会(领域相关)

红色是A刊,黑色是顶会。

在这里插入图片描述

(六)数据库的结构

在这里插入图片描述

① Instance——实例:
你当前数据库运行所需要的上下文环境。
它所代表的空间就是一个内存空间,谁都可以访问。
② Database——存储环境:
a) Data files (数据)
b) Contron files
c) Redo log files(用于数据库恢复)
③ Parameter file 参数文件:
a) 通过它来调整数据库的参数。

猜你喜欢

转载自blog.csdn.net/Cambridge26/article/details/109015158
今日推荐