数据存储相关技术简介

版权声明:本文乃原创作品,欢迎转载,转载请注明出处。 https://blog.csdn.net/wudi53433927/article/details/86013907

相关名词术语IDE/ATA、SATA、SCSI、iSCSI、SAS(Serial Attach SCSI)、RAID、DAS、SAN、NAS等。

1、存储系统

存储系统是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备(硬件)和算法(软件)所组成的系统。计算机的主存储器不能同时满足存取速度快、存储容量大和成本低的要求,在计算机中必须有速度由慢到快、容量由大到小的多级层次存储器,以最优的控制调度算法和合理的成本,构成具有性能可接受的存储系统。

2、常用存储接口与技术分类

2.1 IDE

IDE的英文全称为“Integrated Drive Electronics”,即“电子集成驱动器”,是曾经主流的硬盘接口, 也是光储类设备的主要接口 。

最初,IDE只是一项以把控制器与盘体集成在一起为主要意图的硬盘接口技术。 随着IDE/EIDE得到的日益广泛的应用,全球标准化协议将该接口自诞生以来使用的技术规范归纳成为全球硬盘标准,这样就产生了ATA(Advanced Technology Attachment)。

IDE(Integrated-Drive-Electronics)是曾经普遍使用的外部接口,主要接硬盘和光驱。采用16位数据并行传送方式,体积小,数据传输快(针对当时的数据存储量来说)。一个IDE接口只能接两个外部设备。

优缺点

IDE接口优点:价格低廉、兼容性强、性价比高。

IDE接口缺点:数据传输速度慢、线缆长度过短、连接设备少。

2.2 ATA

IDE接口,也称之为ATA接口。ATA的英文拼写为“Advanced Technology Attachment”,含义是“高级技术附加装置”。

IDE与ATA的区别是,ATA技术是一个关于IDE(Integrated Device Electronics)的技术规范族。即IDE技术出现后,行业为了规范化制定了ATA技术规范族作为行业标准。但一般我们认为IDE和ATA指代的是同一种接口、技术或设备。

2.3 SATA

2003年推出SATA(Serial ATA)后,原有的ATA改名为PATA(并行高技术配置,Parallel ATA)。即将ATA细分为串行ATA和并行ATA,原来的ATA即为并行ATA。

2002年虽然串行ATA的相关设备还未正式上市,但Serial ATA委员会已抢先确立了Serial ATA1.0规范。SATA规范将硬盘的外部传输速率理论值提高到了150MB/s,比PATA标准ATA/100高出50%,比ATA/133也要高出约13%,而随着未来后续版本的发展,SATA接口的速率还可扩展到2X和4X(300MB/s和600MB/s)。从其发展计划来看,未来的SATA也将通过提升时钟频率来提高接口传输速率,让硬盘也能够超频

2.4 FC

FC开发于1988年,最早是用来提高硬盘协议的传输带宽,侧重于数据的快速、高效、可靠传输。到上世纪90年代末,FC SAN开始得到大规模的广泛应用。

2.5 SCSI

SCSI(Small Computer System Interface),小型计算机系统接口,一种用于计算机和智能设备之间(硬盘、软驱、光驱、打印机、扫描仪等)系统级接口的独立处理器标准。 SCSI是一种智能的通用接口标准。支持多个设备,多任务处理,和更长的传输电缆,并占用极少的CPU资源。

2.6 iSCSI

iSCSI(Internet Small Computer System Interface),Internet小型计算机系统接口,又称为IP-SAN,是一种基于因特网及SCSI-3协议下的存储技术,由IETF提出,并于2003年2月11日成为正式的标准。与传统的SCSI技术比较起来,

iSCSI技术有以下三个革命性的变化:

  • 把原来只用于本机的SCSI协义透过TCP/IP网络发送,使连接距离可作无限的地域延伸;
  • 连接的服务器数量无限(原来的SCSI-3的上限是15);
  • 由于是服务器架构,因此也可以实现在线扩容以至动态部署。

2.7 SAS

SAS(Serial Attached SCSI),串行连接SCSI接口,串行连接小型计算机系统接口。

SAS是新一代的SCSI技术,和现在流行的Serial ATA(SATA)硬盘相同,都是采用串行技术以获得更高的传输速度,并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性,提供与串行ATA (Serial ATA,缩写为SATA)硬盘的兼容性。

SAS的接口不仅看起来和SATA类似,而且可以向下兼容SATA标准。即SAS系统的背板(Backpanel)既可以连接具有双端口、高性能的SAS驱动器,也可以连接高容量、低成本的SATA驱动器。由此SAS驱动器和SATA驱动器可以同时存在于一个存储系统之中。但需要注意的是,SATA系统并不兼容SAS,所以SAS驱动器不能连接到SATA背板上。由于SAS系统的兼容性,IT人员能够运用不同接口的硬盘来满足各类应用在容量上或效能上的需求,因此在扩充存储系统时拥有更多的弹性,让存储设备发挥最大的投资效益。

SAS技术还有简化内部连接设计的优势,存储设备厂商目前投入相当多的成本以支持包括光纤通道阵列、SATA阵列等不同的存储设备,而SAS连接技术将可以通过共用组件降低设计成本。

2.8 RAID

磁盘阵列(Redundant Arrays of Independent Drives,RAID),有“独立磁盘构成的具有冗余能力的阵列”之意。

磁盘阵列是由很多价格较便宜的磁盘,组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。 

磁盘阵列还能利用同位检查(Parity Check)的观念,在数组中任意一个硬盘故障时,仍可读出数据,在数据重构时,将数据经计算后重新置入新硬盘中。

RAID是把相同的数据存储在多个硬盘的不同的地方(因此,冗余地)的方法。通过把数据放在多个硬盘上,输入输出操作能以平衡的方式交叠,改良性能。因为多个硬盘增加了平均故障间隔时间(MTBF),储存冗余数据也增加了容错。

磁盘阵列作为独立系统在主机外直连或通过网络与主机相连。磁盘阵列有多个端口可以被不同主机或不同端口连接。一个主机连接阵列的不同端口可提升传输速度。由此可见,RAID可用于DAS、SAN、NAS

3.、存储的分类

根据服务器类型分为:封闭系统的存储和开放系统的存储, 
    ▶ 封闭系统主要指大型机,
    ▶ 开放系统指基于Windows、UNIX、Linux等操作系统的服务器; 
         ▶ 开放系统的存储分为: 
               ▶ 内置存储
                ▶外挂存储 
                          ▶外挂存储根据连接的方式分为: 
                                         ▶ 直连式存储(Direct-Attached Storage,简称DAS)
                                         ▶ 网络化存储(Fabric-Attached Storage,简称FAS); 
                                                                ▶网络化存储根据传输协议又分为: 
                                                                ▶ 网络接入存储(Network-Attached Storage,简称NAS)
                                                                ▶ 存储区域网络(Storage Area Network,简称SAN)


这里写图片描述

 

3.1 DAS

简介

开放系统的直连式存储(Direct-Attached Storage,简称DAS)与我们普通的PC存储架构一样,外部存储设备都是直接挂接在服务器内部总线上,数据存储设备是整个服务器结构的一部分。DAS已经有近四十年的使用历史,随着用户数据的不断增长,尤其是数百GB以上时,其在备份、恢复、扩展、灾备等方面的问题变得日益困扰系统管理员。

直连式存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源20-30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。直连式存储的数据量越大,备份和恢复的时间就越长,对服务器硬件的依赖性和影响就越大。

直连式存储与服务器主机之间的连接通常采用SCSI连接,带宽为10MB/s、20MB/s、40MB/s、80MB/s等,随着服务器CPU的处理能力越来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,SCSI通道将会成为IO瓶颈;服务器主机SCSI ID资源有限,能够建立的SCSI通道连接有限。

无论直连式存储还是服务器主机的扩展,从一台服务器扩展为多台服务器组成的群集(Cluster),或存储阵列容量的扩展,都会造成业务系统的停机,从而给企业带来经济损失,对于银行、电信、传媒等行业7×24小时服务的关键业务系统,这是不可接受的。并且直连式存储或服务器主机的升级扩展,只能由原设备厂商提供,往往受原设备厂商限制。

适用环境

1)小型网络

因为网络规模较小,数据存储量小,且也不是很复杂,采用这种存储方式对服务器的影响不会很大。并且这种存储方式也十分经济,适合拥有小型网络的企业用户。

2)地理位置分散的网络

虽然企业总体网络规模较大,但在地理分布上很分散,通过SAN或NAS在它们之间进行互联非常困难,此时各分支机构的服务器也可采用DAS存储方式,这样可以降低成本。

3)特殊应用服务器

在一些特殊应用服务器上,如微软的集群服务器或某些数据库使用的原始分区,均要求存储设备直接连接到应用服务器。

3.2 SAN

简介

在SAN网络中,所有的数据传输在高速、高带宽的网络中进行,SAN存储实现的是直接对物理硬件的块级存储访问,提高了存储的性能和升级能力。

早期的SAN采用的是光纤通道(FC,Fibre Channel)技术,所以,以前的SAN多指采用光纤通道的存储局域网络,到了iSCSI协议出现以后,为了区分,业界就把SAN分为FC-SAN和IP-SAN。

发展历史

1991年,IBM公司在S/390服务器中推出了ESCON(Enterprise System Connection)技术。它是基于光纤介质,最大传输速率达17MB/s的服务器访问存储器的一种连接方式。在此基础上,进一步推出了功能更强的ESCON Director(FC SWitch),构建了一套最原始的SAN系统。

SAN(Storage Area Network)存储方式创造了存储的网络化。存储网络化顺应了计算机服务器体系结构网络化的趋势。SAN的支撑技术是光纤通道(FC Fiber Channel)技术。它是ANSI为网络和通道I/O接口建立的一个标准集成。FC技术支持HIPPI、IPI、SCSI、IP、ATM等多种高级协议,其最大特性是将网络和设备的通信协议与传输物理介质隔离开,这样多种协议可在同一个物理连接上同时传送。

SAN的硬件基础设施是光纤通道,用光纤通道构建的SAN由以下三个部分组成:

1)存储和备份设备:包括磁带、磁盘和光盘库等。

2)光纤通道网络连接部件:包括主机总线适配卡、驱动程序、光缆、集线器、交换机、光纤通道和SCSI间的桥接器

3)应用和管理软件:包括备份软件、存储资源管理软件和存储设备管理软件。

SAN的优势:

1)网络部署容易;

2)高速存储性能。因为SAN采用了光纤通道技术,所以它具有更高的存储带宽,存储性能明显提高。SAn的光纤通道使用全双工串行通信原理传输数据,传输速率高达1062.5Mb/s。

3)良好的扩展能力。由于SAN采用了网络结构,扩展能力更强。光纤接口提供了10公里的连接距离,这使得实现物理上分离,不在本地机房的存储变得非常容易。

3.3 NAS

简介

NAS(Network Attached Storage:网络附属存储)是一种将分布、独立的数据整合为大型、集中化管理的数据中心,以便于对不同主机和应用服务器进行访问的技术。按字面简单说就是连接在网络上,具备资料存储功能的装置,因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储,而效率却远远高于后者。

NAS是通过与网络直接连接的磁盘阵列,它具备了磁盘阵列的所有主要特征:高容量、高效能、高可靠。NAS将存储设备通过标准的网络拓扑结构连接,可以无需服务器直接上网,不依赖通用的操作系统,而是采用一个面向用户设计的、专门用于数据存储的简化操作系统,内置了与网络连接所需的协议,因此使整个系统的管理和设置较为简单。其次,NAS是真正即插即用的产品,并且物理位置灵活,可放置在工作组内,也可放在其他地点与网络连接。 

NAS使用了传统以太网和TCP/IP协议,当进行文件共享时,则利用了NFS和CIFS以沟通NT和UNIX系统。由于NFS和CIFS都是基于操作系统的文件共享协议,所以NAS的性能特点是进行小文件级的共享存取。NAS提供各种应用领域的异种文件共享和文件服务功能,包括内容传送和分发、统一的存储管理、技术计算,以及Web服务。它允许企业在不使服务器停机的前提下增加容量。

NAS的优点:

1)真正的即插即用

NAS是独立的存储节点存在于网络之中,与用户的操作系统平台无关,真正的即插即用。

2)存储部署简单

NAS不依赖通用的操作系统,而是采用一个面向用户设计的,专门用于数据存储的简化操作系统,内置了与网络连接所需要的协议,因此使整个系统的管理和设置较为简单。

3)存储设备位置非常灵活

4)管理容易且成本低

NAS数据存储方式是基于现有的企业Ethernet而设计的,按照TCP/IP协议进行通信,以文件的I/O方式进行数据传输。

NAS的缺点:

(1)存储性能较低 (2)可靠度不高

4. 三种存储方式比较

存储应用最大的特点是没有标准的体系结构,这三种存储方式共存,互相补充,已经很好满足企业信息化应用。

从连接方式上对比,DAS采用了存储设备直接连接应用服务器,具有一定的灵活性和限制性;NAS通过网络(TCP/IP,ATM,FDDI)技术连接存储设备和应用服务器,存储设备位置灵活,随着万兆网的出现,传输速率有了很大的提高;SAN则是通过光纤通道(Fibre Channel)技术连接存储设备和应用服务器,具有很好的传输速率和扩展性能。三种存储方式各有优势,相互共存,占到了磁盘存储市场的70%以上。SAN和NAS产品的价格仍然远远高于DAS.许多用户出于价格因素考虑选择了低效率的直连存储而不是高效率的共享存储。

客观的说,SAN和NAS系统已经可以利用类似自动精简配置(thin provisioning)这样的技术来弥补早期存储分配不灵活的短板。然而,之前它们消耗了太多的时间来解决存储分配的问题,以至于给DAS留有足够的时间在数据中心领域站稳脚跟。此外,SAN和NAS依然问题多多,无法解决。


编写文章的目的是为了了解存储方面的知识。问题产生于处理数据库性能调优问题时思考如何数据库的物理存储速度瓶颈,进而搜到一堆云里雾里的名词,于是决定整合系统了解一下。

本文主要借鉴百度百科,快写完了,发现下面这篇文章不错,层次分明,早知道就不写了。

https://blog.csdn.net/fgf00/article/details/52592651/

猜你喜欢

转载自blog.csdn.net/wudi53433927/article/details/86013907