第1章 网络存储主要技术
1.1NAS简介
在20世纪80年代初，英国纽卡斯尔大学布赖恩.兰德尔教授 ( Brian Randell)和同事通过“纽卡斯尔连接”成功示范和开发了在整套UNIX机器上的远程文件访问。继“纽卡斯尔连接”之后， 1984 年Sun公司发布了NFS协议，允许网络服务器与网络客户分享他们的存储空间。90年代初Auspex工程师创建了集成的NetApp文件管理器，它支持windows CIFS和UNIX NFS协议，并有卓越的可扩展性和易于部署，从此市场有了专用NAS设备。在短短几年中，NAS凭借简便高效应用的中心思想，逐渐成为网络数据存储方案的主打设备之一。目前EMC公司 Celerra产品拥有优异的性能及多功能性，在全球NAS市场处于领导地位。
1.1.1 NAS概念
NAS（Network-Attached Storage，网络附加存储）是指连接到计算机网络的文件级别计算机数据存储，可以为不同客户端提供数据存取。
NAS被定义为一种特殊的专用数据存储服务器，包括存储器件（一个或多个硬盘驱动器的网络设备，这些硬盘驱动器通常安排为逻辑的、冗余的存储容器或者RAID阵列）和内嵌系统软件，可提供跨平台文件共享功能。NAS通常在一个LAN上占有自己的节点，无需应用服务器的干预，允许用户在网络上存取数据，在这种配置中，NAS集中管理和处理网络上的所有数据，将负载从应用或企业服务器上卸载下来，有效降低总拥有成本，保护用户投资。
NAS本身能够支持多种协议（如NFS、CIFS、FTP、HTTP等），而且能够支持各种操作系统。NAS是真正即插即用的产品，并且物理位置灵活，可放置在工作组内，也可放在混合环境中，如混合了Unix/Windows局域网的环境中，而无需对网络环境进行任何的修改。NAS产品直接通过网络接口连接到网络上，只需简单地配置一下IP地址，就可以被网络上的用户所共享。
1.1.2NAS特点
与采用存储区域网络(SAN-Storage Area Network)的方案比较，采用网络附加存储(NAS-Network-Attached Storage)结构的方案具有以下特点:
- 以网络为中心，开放的标准协议支持
区别于存储区域网络(SAN)的设计方案，网络接入存储(NAS)的模式以网络为中心。该方案利用现有的以太网网络资源来接入专用的网络存储设备，而不是另外再部署昂贵的光纤交换机网络来连接传统的存储设备，这样保护了用户对以太网的投资。
近年来，千兆以太网的传输带宽(1000Mbps，为125MB/s)已经得到普及，并且有望朝万兆以太网发展。届时，以太网的传输带宽将会是10倍于SAN赖以生存的各种SCSI和 Fiber Channel协议的传输带宽。EMC公司Celerra产品支持目前最流行的TCP/IP网络协议，而使用的NFS和CIFS文件服务协议也是业界标准协议，充分做到设备的兼容性。 - 独立的操作系统
Celerra的DART操作系统具备自主知识产权，专注于文件系统的传输。该操作系统功能强大，性能优越，保证了文件系统高速可靠的传输。 Celerra后端通过SAN网络连接后端存储设备，拥有多条链路冗余，避免单点故障，保障了数据安全性。用户的数据只要保存一个拷贝，即可被前端的各种类型的主机所使用，因此，具备主机无关性。Celerra的DART操作系统对于不同操作系统Unix和Windows同样保证了数据共享，并且各自的访问权限亦可得到相应的保证。 - 安装及管理简
NAS无需服务器直接上网，而是采用面向用户设计的、专门用于数据存储的简化操作系统，内置了与网络连接所需的协议，整个系统的管理和设置较为简单。Celerra只要现有的网络具有空闲的网口，在无需关机的情况下，即可提供给前端不同类型主机进行访问，无需在主机上安装任何的软硬件。 - NAS底层协议
NAS采用了NFS（Sun）沟通Unix阵营和CIFS沟通NT阵营，这也反映了NAS是基于操作系统的“文件级”读写操作，访问请求是根据“文件句柄+偏移量”得出。
由于NAS以上诸多优点及良好的兼容性，笔者相信NAS未来将会得到更加广泛的应用。
1.2SAN协议
SAN(Storage Area Network的简称)直译过来就是存储区域网络，它采用光纤通道(Fibre Channel)技术，通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。SAN网络存储是一种高速网络或子网络，SAN存储系统提供在计算机与存储系统之间的数据传输。一个SAN网络由负责网络连接的通信结构、负责组织连接的管理层、存储部件以及计算机系统构成，从而使SAN技术保证数据传输的安全性和力度。SAN具有以下几点优势：
1.SAN的可扩展性意味着你有少数的磁盘不受连接到系统上的限制。SAN可以增长到数百个磁盘，但是普通物理服务器的极限只有十几个。
2.SAN的性能不会受到以太网流量或本地磁盘访问量的制约。数据通过SAN从自己的私有网络传送，隔开用户流量、备份流量和其他SAN流量。
3.在正确的配置环境下，SAN数据被区域划分。用户保存数据的分区和其他人处在同样的SAN.SAN区域隔离就如同将UNIX服务器和Windows服务器连接到相同的SAN上，但这两种服务器上的数据访问是不同的，事实上，Windows系统不能“看到”UNIX的数据，反之亦然。
4.SAN系统不需要重新启动就能添加新的磁盘，更换磁盘或配置RAID组。数据流完全避开服务器系统，SAN同样增加了数据备份和恢复性能。
5.分区也可以在SAN上将你的工作负载分离。不仅是将你的数据分离保护，而且对那些影响应用程序性能的不相关的工作负载采取屏蔽。在适当的区域应用SAN共享从性能上讲不是问题。
6.SAN有个无可比拟的优势，就是存储连接距离为10公里距离(约6英里)。不是说你一定会用到这个优势，但当你需要的时候，它就能显现出来。具有距离优势，可以将数据存储到一个独立的位置，从系统服务中脱离出来。
7.在如SAN这样的存储网络上的自动精简配置的空间利用效率，要比本地存储的来得高。当一个系统需要更多的存储资源时，SAN将动态分配资源。这意味着物理系统可以享受自动精简配置，就像虚拟化那样。
一台服务器直连一台阵列，使用光纤线，这是SAN吗？我们同事说的，主机上插HBA卡，连接到阵列，是SAN呢？SAN必须要有光交换机？
如果这台主机独享这套存储阵列，就是DAS结构。如果有光纤交换机，多台主机共享存储阵列，就是SAN结构。只要阵列是共享存储阵列，那么就是SAN结构，而不是DAS了，共享存储阵列是关键！明白了，其实不需要光交换机也可以共享啊！因为阵列上有多个接口啊，一个阵列，连接2台主机，这也是SAN结构嘛！对吧！
请教一下：SAN结构是不是分为FC SAN和IP SAN?使用光纤交换机叫做FC SAN，那么IPSAN呢？如何定义？
早期的SAN采用的是光纤通道（FC，Fiber Channel）技术，所以，以前的SAN多指采用光纤通道的存储局域网络，到了iSCSI协议出现以后，为了区分，业界就把SAN分为FC SAN和IP SAN。
iSCSI（互联网小型计算机系统接口）是一种在TCP/IP上进行数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了各大存储厂商的大力支持。iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。
如果从定位上区分，FC SAN定位高端，IPSAN定位相对低端。
1.3NAS与SAN的区别
目前磁盘存储市场上，存储分类（如下表一）根据服务器类型分为：封闭系统的存储和开放系统的存储，封闭系统主要指大型机，AS400等服务器，开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器；开放系统的存储分为：内置存储和外挂存储；开放系统的外挂存储根据连接的方式分为：直连式存储（Direct-Attached Storage，简称DAS）和网络化存储（Fabric-Attached Storage，简称FAS）；开放系统的网络化存储根据传输协议又分为：网络接入存储（Network-Attached Storage，简称NAS）和存储区域网络（Storage Area Network，简称SAN）。由于目前绝大部分用户采用的是开放系统，其外挂存储占有目前磁盘存储市场的70%以上，因此本文主要针对开放系统的外挂存储进行论述说明。
今天的存储解决方案主要为：直连式存储（DAS）、存储区域网络（SAN）、网络接入存储（NAS）。如下：
开放系统的直连式存储（Direct-Attached Storage，简称DAS）已经有近四十年的使用历史，随着用户数据的不断增长，尤其是数百GB以上时，其在备份、恢复、扩展、灾备等方面的问题变得日益困扰系统管理员。
主要问题和不足为：
直连式存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理，数据备份和恢复要求占用服务器主机资源（包括CPU、系统IO等），数据流需要回流主机再到服务器连接着的磁带机（库），数据备份通常占用服务器主机资源20-30%，因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。直连式存储的数据量越大，备份和恢复的时间就越长，对服务器硬件的依赖性和影响就越大。
直连式存储与服务器主机之间的连接通道通常采用SCSI连接，带宽为10MB/s、20MB/s、40MB/s、80MB/s等，随着服务器CPU的处理能力越来越强，存储硬盘空间越来越大，阵列的硬盘数量越来越多，SCSI通道将会成为IO瓶颈；服务器主机SCSI ID资源有限，能够建立的SCSI通道连接有限。
无论直连式存储还是服务器主机的扩展，从一台服务器扩展为多台服务器组成的群集(Cluster)，或存储阵列容量的扩展，都会造成业务系统的停机，从而给企业带来经济损失，对于银行、电信、传媒等行业7×24小时服务的关键业务系统，这是不可接受的。并且直连式存储或服务器主机的升级扩展，只能由原设备厂商提供，往往受原设备厂商限制。
存储区域网络（Storage Area Network，简称SAN）采用光纤通道（Fibre Channel）技术，通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。SAN经过十多年历史的发展，已经相当成熟，成为业界的事实标准（但各个厂商的光纤交换技术不完全相同，其服务器和SAN存储有兼容性的要求）。SAN存储采用的带宽从100MB/s、200MB/s，发展到目前的1Gbps、2Gbps。
网络接入存储（Network-Attached Storage，简称NAS）采用网络（TCP/IP、ATM、FDDI）技术，通过网络交换机连接存储系统和服务器主机，建立专用于数据存储的存储私网。随着IP网络技术的发展，网络接入存储（NAS）技术发生质的飞跃。早期80年代末到90年代初的10Mbps带宽，网络接入存储作为文件服务器存储，性能受带宽影响；后来快速以太网（100Mbps）、VLAN虚网、Trunk(Ethernet Channel) 以太网通道的出现，网络接入存储的读写性能得到改善；1998年千兆以太网（1000Mbps）的出现和投入商用，为网络接入存储（NAS）带来质的变化和市场广泛认可。由于网络接入存储采用TCP/IP网络进行数据交换，TCP/IP是IT业界的标准协议，不同厂商的产品（服务器、交换机、NAS存储）只要满足协议标准就能够实现互连互通，无兼容性的要求；并且2002年万兆以太网（10000Mbps）的出现和投入商用，存储网络带宽将大大提高NAS存储的性能。NAS需求旺盛已经成为事实。首先NAS几乎继承了磁盘列阵的所有优点，可以将设备通过标准的网络拓扑结构连接，摆脱了服务器和异构化构架的桎梏。
其次，在企业数据量飞速膨胀中，SAN、大型磁带库、磁盘柜等产品虽然都是很好的存储解决方案，但他们那高贵的身份和复杂的操作是资金和技术实力有限的中小企业无论如何也不能接受的。NAS正是满足这种需求的产品，在解决足够的存储和扩展空间的同时，还提供极高的性价比。因此，无论是从适用性还是TCO的角度来说，NAS自然成为多数企业，尤其是大中小企业的最佳选择。
NAS与SAN的分析与比较
针对I/O是整个网络系统效率低下的瓶颈问题，专家们提出了许多种解决办法。其中抓住症结并经过实践检验为最有效的办法是：将数据从通用的应用服务器中分离出来以简化存储管理。
问题：
由图1可知原来存在的问题：每个新的应用服务器都要有它自己的存储器。这样造成数据处理复杂，随着应用服务器的不断增加，网络系统效率会急剧下降。
从图2可看出：将存储器从应用服务器中分离出来，进行集中管理。这就是所说的存储网络（Storage Networks）。
使用存储网络的好处：
统一性：形散神不散，在逻辑上是完全一体的。
实现数据集中管理，因为它们才是企业真正的命脉。
容易扩充，即收缩性很强。
具有容错功能，整个网络无单点故障。
专家们针对这一办法又采取了两种不同的实现手段，即NAS（Network Attached Storage）网络接入存储和SAN(Storage Area Networks)存储区域网络。
NAS：用户通过TCP/IP协议访问数据，采用业界标准文件共享协议如：NFS、HTTP、FTP，CIFS实现共享。
SAN：通过专用光纤通道交换机访问数据，采用SCSI、FC-AL接口。
什么是NAS和SAN的根本不同点？
NAS和SAN最本质的不同就是文件管理系统在哪里。如图：
由图3可以看出，SAN结构中，文件管理系统（FS）还是分别在每一个应用服务器上；而NAS则是每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统。换句话说：NAS和SAN存储系统的区别是NAS有自己的文件系统管理。 【操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。】
NAS是将目光集中在应用、用户和文件以及它们共享的数据上。SAN是将目光集中在磁盘、磁带以及联接它们的可靠的基础结构。将来从桌面系统到数据集中管理到存储设备的全面解决方案将是NAS加SAN。
1.4 SCSI访问控制原理介绍
本文为大家介绍SCSI-2和SCSI-3访问控制原理。主要内容包括：SCSI-2 Reserve/Release/Reset和SCSI-3 Persistent Reserve IN/ Persistent Reserve OUT/ PREEMPT以及SCSI访问控制常见场景。
SCSI-2 Reserve(预留)/Release(释放)/Reset（重置）
SCSI-2协议中客户端访问lun过程如下：
1. 客户端向lun发起预留操作
2. 预留操作成功后，客户端获得lun操作权限；预留失败，提示预留冲突，会继续尝试，直到预留成功。
3. 客户端操作完毕后，执行释放操作，其他客户端可以预留。
SCSI-2访问控制主要缺点有：
1. 预留操作基于路径。预留和释放必须由相同的客户端完成，一台主机不能释放另外一台主机的预留，同一主机HBA卡不能取消相同主机另外一块HBA的预留。
2. 预留无法长久保留。主机重启将会丢失预留信息。
3. 如果lun已经被预留，其他主机无法再预留。如果其他主机要想获得lun操作权限，必须对lun进行重置，重置操作可能会导致数据丢失。重置后释放掉lun现有的预留，重置操作由lun主动发起，原来预留主机并不知晓。
SCSI-3 Persistent Reserve (PR)/ PREEMPT（抢占）
SCSI-3协议引入PGR（persistent group reservation）功能。在访问lun之前，客户端首先向lun注册（registration）一个预留密钥(reservation key)，注册成功后客户端可以尝试进行永久预留（reserve），永久预留成功后就可以获得lun操作权限。预留密钥是一串16进制的ASCII码，最长8个字节。永久预留一共6种类型，由1、3、5、6、7、8数字表示。包括两种操作类型和三种客户类型，操作类型包括写排它和所有访问排他，客户类型包括所有客户端、已注册客户端和所属客户端。数字与永久预留类型对应关系如下：
1-> write exclusive
3-> exclusive access
5-> write exclusive - registrants only
6-> exclusive access - registrants only
7-> write exclusive - all registrants
8-> exclusive access - all registrants.
- 不同注册类型对应不同访问权限。与SCSI-2不同，SCSI-3释放操作根据预留密钥。不同客户端可以使用相同密钥或是不同密钥进行预留，具体可以结合永久预留类型决定。客户端可以通过抢占来获取已被永久预留的lun访问权限。SCSI-3抢占和SCSI-2重置不一样，抢占不会造成数据丢失。
SCSI-3关于PGR相关操作命令分为两大类：分别是PRIN和PROUT。PRIN主要用于查询，PROUT用于修改。SCSI命令执行过程中，需要明确该命令是哪种类型。
常见使用场景集群I/O Fencing
为了防止集群故障发生“脑裂”现象，2-节点集群可以通过SCSI-2 Reseve/Release触发I/O fencing来保证整个集群正常运行，是SCSI-2不适用于多-节点集群，多-节点集群可以使用SCSI-3 PGR。主流厂商集群套件都已经支持SCSI-3 PGR，比如：VCS、HACAMP、RHCS等。集群文件系统
集群文件系统需要保证多节点同时访问存储时的数据一致性，SCSI-2/SCSI-3都可以满足，当一个节点尝试访问一个已经被预留的存储就会产生访问权限冲突。SCSI-3 PGR相比SCSI-2 Reserve/Release更能够减少访问权限冲突。
小结：
SCSI-2具体基本访问控制能力，但是无法满足Active/Active多路径环境和集群多节点访问存储的需求。SCSI-3通过引入客户端注册和操作权限分类概念，强化并行访问权限控制，弥补SCSI-2的不足
1.5NAS实现类型对比：统一式、网关式和横向扩展式（Scale-out）
介绍
NAS主要有三种类型的实现：统一式、网关式和横向扩展式（Scale-out）。统一NAS使用统一的存储平台将基于NAS和基于SAN的数据访问合并，提供了可以同时管理二种环境的统一管理界面。网关NAS使用外部存储来存取数据，网关NAS和存储的管理操作是分开的。横向扩展式（Scale-out）NAS可组合多个节点，形成一个集群NAS系统。本文将对比三种不同NAS实现类型。
统一NAS
统一NAS提供文件服务，同时负责存储文件数据，并提供块数据访问。它支持用于文件访问的CIFS和NFS协议，以及用于块级访问的SCSI和FC协议。因为基于NAS和基于SAN的访问合并到同一个存储平台，统一NAS降低了企业的基础设施成本和管理成本。
统一NAS的一个系统中包括了一个或多个NAS头及存储。NAS头与存储控制器连接，提供到存储的访问。存储控制器提供了与iSCSI和FC主机的连接。存储可使用不同的磁盘类型（例如SAS、ATA、FC和闪存盘），以满足不同的负载需求。下图显示的是一个统一NAS连接的例子。
网关式NAS
网关式NAS设备包含一个或多个NAS头，使用外部存储或者独立管理的存储。与统一NAS相似，存储是与其他使用块级I/O的应用共享的。这种解决方案的管理功能比统一存储复杂，因为NAS头和存储器的管理任务是分开的。网关式解决方案可以利用FC基础设施，例如：交换机等，访问SAN存储阵列或直连式存储阵列。
网关式NAS的扩展性比统一NAS好，因为NAS头和存储阵列可以独立地根据需求进行扩展升级。例如：可以通过增加NAS头的方式提升NAS设备的性能。当存储容量达到上限时，网关NAS设备可以独立于NAS头对SAN进行扩展，增加存储容量。网关式NAS通过在SAN环境中进行存储共享，提高了存储资源的利用率。下图显示的是一个网关式NAS连接的例子。
横向扩展式（Scale-out）NAS
统一NAS和网关NAS实现都提供了一定的扩展性能，可以在数据增长和性能需求提高时对资源进行扩展。对NAS设备进行扩展主要涉及增加CPU、内存和存储容量。扩展性受制于NAS设备对后续增加NAS头和存储容量的支持能力。
横向扩展式（Scale-out）NAS可组合多个节点，形成一个集群NAS系统。只需要向集群NAS架构中添加节点即可实现资源的扩展。整个集群可看作是一个NAS设备，资源是集中管理的。在需要扩大容量或提高性能的时候，可向集群中添加节点，这不会造成停机下线的情况。横向扩展NAS可以集合许多性能和可用性中等的节点，形成集群系统拥有更好的总体性能和可用性。它还有易使用、成本低以及理论上可无限扩展的优势。
横向扩展式（Scale-out）NAS在集群中的所有节点上创建了一个单一文件系统。节点的所有信息都可以彼此共享，因此连接到任何节点的客户端都可以访问整个文件系统。集群NAS将数据在所有节点间分条，同时使用镜像或效验方式进行数据保护。数据从客户端发送到集群时，数据被分割，并行分配给不同节点。当客户端发送文件读取请求时，集群NAS从多个节点获取相应的块，将他们组合成文件，然后将文件发给客户端。随着节点的增加，文件系统实现动态扩展，数据在节点之间均衡分布。每个增加的节点都增加了整个集群的存储、内存、CPU和网络能力。因此，整个集群的性能都得到提升。
横向扩展式（Scale-out）NAS适合解决企业和客户当前面临的大数据问题。它统一管理和存储高速增长的数据，同时又十分灵活，能满足各种性能需求。下图显示的是一个横向扩展式（Scale-out）NAS连接的例子。
scale-out NAS 是不是可以理解为现在的分布式文件系统产品，比如Ceph、红帽的GFS。
我认为Scale-out NAS和分布式文件系统不属于一个概念。如果将Scale-out翻译成中文，我觉得应该是一个形容词，表示具备横向扩展能力的设备。比如：XtremIO是一种Scale-out storage，这只是表示XtremIO具备横向扩展能力。
Scale-out NAS具备横向扩展能力，但是它还是NAS设备。下面是NAS的机构图：
而分布式文件系统是一种文件系统，HDFS、Ceph都属于分布式文件系统，只是说这种文件系统管理的物理存储资源可以不直接连接在本地节点。但是NAS和文件系统是二个不同的概念！
它们的作用不同：
• NAS主要是用来解决不同服务器之间文件系统数据共享问题。
• 分布式文件系统主要是用于解决大型应用场景中对高扩展性、高并发性和高性能的需求，多应用于云计算和大数据分析场景。