存储快速入门——【1】网络存储主要技术（NAS、SAN、SCSI、CIFS、zone）

存储快速入门——【1】网络存储主要技术

1 NAS简介（网络）

在20世纪80年代初，英国纽卡斯尔大学布赖恩.兰德尔教授 ( Brian Randell)和同事通过“纽卡斯尔连接”成功示范和开发了在整套UNIX机器上的远程文件访问。继“纽卡斯尔连接”之后， 1984 年Sun公司发布了NFS协议，允许网络服务器与网络客户分享他们的存储空间。90年代初Auspex工程师创建了集成的NetApp文件管理器，它支持windows CIFS和UNIX NFS协议，并有卓越的可扩展性和易于部署，从此市场有了专用NAS设备。在短短几年中，NAS凭借简便高效应用的中心思想，逐渐成为网络数据存储方案的主打设备之一。目前EMC公司 Celerra产品拥有优异的性能及多功能性，在全球NAS市场处于领导地位。

NAS（Network-Attached Storage，网络附加存储）是指连接到计算机网络的文件级别计算机数据存储，可以为不同客户端提供数据存取。

• 网络存储，相当于一个独立的操作系统且包含文件系统，可通过IP访问获取文件

NAS本身能够支持多种协议（如NFS、CIFS、FTP、HTTP等），而且能够支持各种操作系统。NAS是真正即插即用的产品，并且物理位置灵活，可放置在工作组内，也可放在混合环境中，如混合了Unix/Windows局域网的环境中，而无需对网络环境进行任何的修改。NAS产品直接通过网络接口连接到网络上，只需简单地配置一下IP地址，就可以被网络上的用户所共享。

NAS的特点：

与采用存储区域网络(SAN-Storage Area Network)的方案比较，采用网络附加存储(NAS-Network-Attached Storage)结构的方案具有以下特点:

1. 以网络为中心，开放的标准协议支持

通过网络来接入专用的网络存储设备，而不是另外再部署昂贵的光纤交换机

2. 独立的操作系统

Celerra的DART操作系统具备自主知识产权，专注于文件系统的传输。该操作系统功能强大，性能优越，保证了文件系统高速可靠的传输。

3. 安装及管理方便

NAS无需服务器直接上网，而是采用面向用户设计的、专门用于数据存储的简化操作系统，内置了与网络连接所需的协议，整个系统的管理和设置较为简单。Celerra只要现有的网络具有空闲的网口，在无需关机的情况下，即可提供给前端不同类型主机进行访问，无需在主机上安装任何的软硬件。

4. NAS底层协议

NAS采用了NFS（Sun）沟通Unix阵营和CIFS沟通NT阵营，这也反映了NAS是基于操作系统的“文件级”读写操作，访问请求是根据“文件句柄+偏移量”得出。

2 SAN简介(光纤)

SAN(Storage Area Network的简称)直译过来就是存储区域网络，它采用光纤通道(Fibre Channel)技术，通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。SAN网络存储是一种高速网络或子网络，SAN存储系统提供在计算机与存储系统之间的数据传输。一个SAN网络由负责网络连接的通信结构、负责组织连接的管理层、存储部件以及计算机系统构成，从而使SAN技术保证数据传输的安全性和力度。

SAN的优势：

1. 可扩展性，少数的磁盘不受连接到系统上的限制。SAN可以增长到数百个磁盘，但是普通服务器的极限只有十几个。
2. 性能不会受到网络或本地访问量的制约。数据通过SAN从自己的私有网络传送，隔开用户流量、备份流量和其他SAN流量。
3. 数据可被区域划分。在正确的配置环境下，用户保存的分区和其他人处在同样的SAN.SAN区域隔离就如同将Unix服务器和Windows服务器连接到相同的SAN上，但是这两种服务器上的数据访问是不同的，事实上，Windows系统不能看到"Unix的数据"，反之亦然。
4. 热更新，不需要重启就可添加新的磁盘、更换磁盘或配置RAID（Redundant Arrays Of Independent Disks）磁盘阵列组。

磁盘阵列（RAID）：

• 工作原理是将一块硬盘当做主盘，另一个硬盘当做备份盘实现本地实时备份，在A盘内写入数据时，B盘也会实时写入一份数据备份，即使某个硬盘损坏，备份盘也能直接顶上。
• 磁盘阵列 指的是由一个硬盘控制器来控制多个硬盘的相互连接，使多个硬盘的读写同步，减少错误，增加效率和可靠度的技术。 磁盘阵列的基本结构特征就是组合 (Striping)，捆绑2个或多个物理磁盘成组，形成一个单独的逻辑盘。

5. 在适当的区域SAN共享性能不错。分区可以在SAN上将你的工作负载分离。不仅是将你的数据分离保护，而且对那些影响应用程序性能的不相关工作负载采取屏蔽。
6. 距离优势，存储连接距离为10KM。我们可以将数据存储到一个独立的位置，从系统服务中脱离出来。
7. 动态分配资源，空间利用效率最大化。当一个系统需要更多的存储资源时，SAN将动态分配资源。这意味着物理系统可以享受自动精简配置，就像虚拟化那样。

3 NAS与SAN区别

结论：

NAS与SAN区别：

• 访问数据的方式不同，NAS：用户通过TCP/IP协议访问数据，采用业界标准文件共享协议如：NFS、HTTP、CIFS实现共享。 SAN：通过专用光纤通道交换机访问数据，采用SCSI、FC-AL接口。
• 本质区别：文件管理系统位置不同。NAS有自己的文件管理系统。

NAS是将目光集中在应用、用户和文件以及它们共享的数据上。SAN是将目光集中在磁盘、磁带以及联接它们的可靠的基础结构。将来从桌面系统到数据集中管理到存储设备的全面解决方案将是NAS加SAN。

分析原因：

存储分类：

如今，存储解决方案主要为：直连式存储（DAS）、存储区域网络（SAN）、网络接入存储（NAS）。如下：

存储：

• 封闭系统的存储
• 开放系统的存储：
  1. 内置存储
  2. 外挂存储：
     • 直连式存储（Direct-Attached Storage）DAS
     • 网络存储（Fabric-Attached Storage）FAS：
       - NAS（Network-Attached Storage）网络接入存储
       - SAN（Storage Area Network）存储区域网络

• DAS直连式存储弊端：

数百GB以上的数据在备份、恢复、扩展、灾备等方面很困难。

• 数据备份通常占用服务器主机资源的20%-30%，因此只有在深夜或业务系统不繁忙的时候进行。DAS存储量越大，备份和恢复的时间越长。
• 直连式存储与服务器主机通信通常采用SCSI连接，SCSI通道会成为IO瓶颈。

SAN、大型磁带库、磁盘柜等产品虽然都是很好的存储解决方案，但他们那高贵的身份和复杂的操作是资金和技术实力有限的中小企业无论如何也不能接受的。NAS正是满足这种需求的产品，在解决足够的存储和扩展空间的同时，还提供极高的性价比。因此，无论是从适用性还是TCO的角度来说，NAS自然成为多数企业，尤其是大中小企业的最佳选择。

NAS与SAN区别：

• 访问数据的方式不同，NAS：用户通过TCP/IP协议访问数据，采用业界标准文件共享协议如：NFS、HTTP、CIFS实现共享。 SAN：通过专用光纤通道交换机访问数据，采用SCSI、FC-AL接口。
• 本质区别：文件管理系统位置不同。NAS有自己的文件管理系统。

NAS是将目光集中在应用、用户和文件以及它们共享的数据上。SAN是将目光集中在磁盘、磁带以及联接它们的可靠的基础结构。将来从桌面系统到数据集中管理到存储设备的全面解决方案将是NAS加SAN。

4 SCSI访问控制原理介绍

SCSI(Small Computer System Interface)：小型计算机系统接口

• SCSI-2:

SCSI-2协议中客户端访问lun（Logic Unit Number，逻辑单元号）过程如下：

1. 客户端向lun发起预留操作
2. 预留操作成功后，客户端获得lun操作权限；预留失败，提示预留冲突，会继续尝试，直到预留成功。
3. 客户端操作完毕后，执行释放操作，其他客户端可以预留。

缺点：

• 预留操作基于路径。预留和释放必须由相同的客户端完成。
• 预留无法长久保留，主机重启将会丢失预留信息。
• 如果lun已经被预留，其他主机无法再预留。
• lun进行重置，重置操作可能会导致数据丢失。

• SCSI-3:

引入了PGR（persistent group reservation）功能，在访问lun之前，客户端首先向lun注册一个预留密钥（reservation key），注册成功后客户端可以尝试进行永久预留（reserve），永久预留成功就可以获取lun操作权限。

• 永久预留一共有6中类型，由1、3、5、6、7、8数据字表，不同类型表示不同访问权限。
• 客户端可以通过抢占来获取已被永久预留的lun访问权限。
• SCSI-3抢占和SCSI-2重置不同，抢占不会导致数据丢失。

使用场景：

集群文件系统:

• 集群文件系统需要保证多节点同时访问存储时的数据一致性，SCSI-2/SCSI-3都可以满足，当一个节点尝试访问一个已经被预留的存储就会产生访问权限冲突。SCSI-3 PGR相比SCSI-2 Reserve/Release更能够减少访问权限冲突。
  S

小结：
CSI-2具体基本访问控制能力，但是无法满足Active/Active多路径环境和集群多节点访问存储的需求。SCSI-3通过引入客户端注册和操作权限分类概念，强化并行访问权限控制，弥补SCSI-2的不足。

5 NAS实现类型对比：统一式、网关式和横向扩展式（Scale-out）

NAS主要有三种类型的实现：统一式、网关式和横向扩展式（Scale-out）。

1. 统一NAS使用统一的存储平台将基于NAS和基于SAN的数据访问合并，提供了可以同时管理二种环境的统一管理界面。
2. 网关NAS使用外部存储来存取数据，网关NAS和存储的管理操作是分开的。
3. 横向扩展式（Scale-out）NAS可组合多个节点，形成一个集群NAS系统。

5.1 统一式NAS

• 统一NAS提供文件服务，同时负责存储文件数据，并提供块数据访问。支持用于文件访问的CIFS和NFS协议，以及用于块级访问的SCSI和FC协议。因为基于NAS和基于SAN的访问合并到同一个存储平台，统一NAS降低了企业的基础设施成本和管理成本
• 统一NAS的一个系统中包括了一个或多个NAS头及存储。NAS头与存储控制器连接，提供到存储的访问。存储控制器提供了与iSCSI和FC主机的连接。存储可使用不同的磁盘类型（例如SAS、ATA、FC和闪存盘），以满足不同的负载需求。下图显示的是一个统一NAS连接的例子。

5.2 网关式NAS

• 网关式NAS设备包含一个或多个NAS头，使用外部存储或者独立管理的存储。与统一NAS相似，存储是与其他使用块级I/O的应用共享的。这种解决方案的管理功能比统一存储复杂，因为NAS头和存储器的管理任务是分开的。网关式解决方案可以利用FC基础设施，例如：交换机等，访问SAN存储阵列或直连式存储阵列。
• 网关式NAS的扩展性比统一NAS好，因为NAS头和存储阵列可以独立地根据需求进行扩展升级。例如：可以通过增加NAS头的方式提升NAS设备的性能。当存储容量达到上限时，网关NAS设备可以独立于NAS头对SAN进行扩展，增加存储容量。网关式NAS通过在SAN环境中进行存储共享，提高了存储资源的利用率。下图显示的是一个网关式NAS连接的例子。

5.3 横向扩展式（scale-out）NAS

统一NAS和网关NAS实现都提供了一定的扩展性能，可以在数据增长和性能需求提高时对资源进行扩展。对NAS设备进行扩展主要涉及增加CPU、内存和存储容量。

• 统一NAS和网关NAS,扩展性受制于NAS设备对后续增加NAS头和存储容量的支持能力。
• 横向扩展式NAS理论上可无限扩展

横向扩展式（Scale-out）NAS可组合多个节点，形成一个集群NAS系统。只需要向集群NAS架构中添加节点即可实现资源的扩展。整个集群可看作是一个NAS设备，资源是集中管理的。在需要扩大容量或提高性能的时候，可向集群中添加节点，这不会造成停机下线的情况。横向扩展NAS可以集合许多性能和可用性中等的节点，形成集群系统拥有更好的总体性能和可用性。它还有易使用、成本低以及理论上可无限扩展的优势。

横向扩展式（Scale-out）NAS适合解决企业和客户当前面临的大数据问题。它统一管理和存储高速增长的数据，同时又十分灵活，能满足各种性能需求。下图显示的是一个横向扩展式（Scale-out）NAS连接的例子。

6 存储性能瓶颈的成因、定位与排查

6.1 存储性能瓶颈常见的情况及解决办法

①常见业务应用访问缓慢（ERP、邮件服务等）

成因：当多个用户同时访问某一业务应用，无论是邮件服务器，企业资源规划（ERP）系统或数据库，数据请求会累积在队列中。单个I/O的响应时间开始增长，短暂延时开始转变成为漫长的等待。

这类响应时间敏感型应用的特征是，很多随机请求，读取比写入更多，I/O较小。

最好的方法是：将负载分布在多块磁盘上，否则可能造成性能瓶颈。

如果应用增加了更多用户，或应用IOPS（每秒输入输出）请求增加，则可能需要在RAID组中添加更多磁盘，或数据可能需要跨越更多磁盘，在更多层级做条带化。

存储在这样的情况下往往首先被怀疑，但大多数情况下并非存储引发，原因可能在于网络、应用或服务器。

②敏感型应用-数据备份、视频流或安全登录

带宽敏感型应用——如数据备份，视频流或安全登录，这类应用当多个用户同时访问大型文件或数据流时可能造成瓶颈。

• 定位这一问题存储管理员应当从备份服务器开始一路向下检查至磁盘，原因可能存在于这一通路的任何地方。
• 问题不一定发生在存储，可能是由于备份应用创建的方式或是磁带系统的工作方式引起的。如果瓶颈定位于存储，那么可能是由于服务I/O的磁盘数量不足，在控制器造成争用，或是阵列前端口带宽不足。

性能调优需要针对不同应用程序负载来完成。针对大型文件和流数据的调优并不适合于小型文件，反之亦然。这也就是为什么在大多数存储系统中往往做一个平衡，需要用户尝试并找出系统的折中。用户通常需要优化吞吐量或IOPS，但并不需要对两者同时优化。

③RAID组中的磁盘故障

RAID组中的磁盘故障。特别是在RAID 5中会造成性能的下降，因为系统需要重建校验数据。相比数据读写操作，重建会对性能造成更大影响。

即便坏盘是造成故障的根源，但控制器还是可能成为瓶颈，因为在重建过程中它需要不停地服务数据。当重建完成时，性能才会恢复正常。

④部署新应用

部署了一种新的应用，而卷存在于处理繁忙邮件系统的同一磁盘。如果新的应用变得繁忙，邮件系统性能将会遭受影响。额外的流量最终会将磁盘完全覆盖。

6.2 存储瓶颈常发区域

1. 存储区域网络（Storage-area network, SAN）/阵列前端口

• 阵列中端口数量不够，导致过度使用
• 虚拟服务器环境下的过量预定
• 端口间负载不均衡
• 交换机间链路争用/流量负荷过重
• 如某一HBA端口负载过重将导致HBA拥塞。使用虚拟机会导致问题更加严重。

2. 存储控制器

• 控制器I/O饱和，是的从缓存到阵列能够处理的IOPS受到限制
• 吞吐量"淹没"处理器
• CPU过载/处理器功率不足
• 性能无法跟上SSD

3. Cache

• Cache memory不足
• Cache写入过载，引起性能降低
• 频繁访问顺序性数据引起cache超负荷
• Cache中需要持续不断地写入新数据，因此如果cache总是在refill，将无法从cache获益。

4. 磁盘

• 过多应用命中磁盘
• 磁盘数量不足以满足应用所需的IOPS或吞吐量
• 磁盘速度过慢无法满足性能需求及支持繁重工作负荷
• Disk group往往是classic存储架构的潜在性能瓶颈，这种结构下RAID最多配置在16块磁盘。Thin结构通常每个LUN拥有更多磁盘，从而数据分布于更多spindle，因增加的并发性而减少了成为瓶颈的可能。

6.3 建议监控指标

曾经一度存储厂商们强调的是IOPS和吞吐量，但现在重点逐渐转变成为响应时间。也就是说，不是数据移动的速度有多快，而在于对请求的响应速度有多快。

• 正常情况下，15,000 rpm Fibre Channel磁盘响应时间为4ms，SAS磁盘响应时间约为5ms至6ms，SATA为10ms，而SSD少于1ms。如果发现Fibre Channel磁盘响应时间为12ms，或SSD响应时间变成5ms，那么就说明可能产生了争用，可能芯片发生了故障。
• 除了响应时间，其他需要监控的指标包括：

1. 队列长度，队列中一次积累的请求数量，平均磁盘队列长度；
2. 平均I/O大小千字节数；
3. IOPS （读和写，随机和顺序，整体平均IOPS）；
4. 每秒百万字节吞吐量；
5. 读写所占比例；
6. 容量（空闲，使用和保留）。

7 什么是zone？如何做好zone？

7.1 什么是zone?

Zone是FC-SAN交换机上的一种独有的逻辑配置，通过配置特定的设备加入zone，从而允许设备之间互相通信。当交换机上配置了zone时，同在一个zone里的设备之间可以互相通信，没有加入任何zone的设备不能与其他设备通信。

• 可以理解为特殊的群组

早期交换机厂商根据zone的实现方式，把zone分为hard zone和soft zone，区别在于前者通过硬件芯片来实现，后者通过软件来实现。后来大家把基于domain ID/端口号的zone叫做hard zone，基于wwn的zone为soft zone。现在这两种类型的zone都是基于硬件芯片实现。

7.2 如何做好zone？

做一个zone很简单，但是如何做好zone，却要考虑到方方面面的问题。

1. 推荐使用wwn zone(客户有特殊要求或FICON环境除外)，原因如下：

• port zone只能通过物理隔离来保证zone安全，而wwn zone能限制只有指定设备才能访问zone。
• NPIV和AG环境中，只能使用wwn zone来划分zone给cluster上的主机或虚机。
• IVR/FCR和磁带加速技术只能使用wwn zone。

2. LUN masking和zone同时使用

Zone和LUN masking都可以隔离主机和存储之间的通信，但是这两者作用在不同的层面。Zone在交换机上面生效，LUN masking在存储端口生效，两者无法做相互取代。

3. alias命名应该清晰易懂，确保不会混淆。

4. 博科交换机尽量避免使用混合zone模式。博科交换机在6.4.3之前有一个bug，会导致在混合zone里的主机自动登出存储。

5. 思科交换机使用enhanced zoning，防止多个用户同时更改zone配置导致配置丢失。

6. 关闭default zone，避免未经验证的设备登入网络。

8 CIFS安全协议之Kerberos（NAS中所用的安全协议）

NAS的CIFS 来说，NTLM和Kerberos是两个比较重要的验证方式。今天我们来讨论一下作为CIFS安全认证之一的Kerberos协议。

• Kerberos 是一种依赖于验证技术共享密钥的协议，其基本概念很简单，如果一个秘密只有两个人知道，任何一个人都可以通过他们之间共享的秘密来确定对方的身份。用技术的语言来讲，就是对称加密，互相确认。

Kerberos认证和我们看电影的过程差不多，主要分三个步骤：

第一步咨询：用户登陆domain

第二步买票：用户获得service票据

第三步来访：使用服务票据访问某服务

虽然上面Kerberos的工作原理稍微有点复杂，不过我们还是能从中看出Kerberos的高效性，相互身份验证以及互操作性的优点。

1. 高效性：客户端不用每次访问NAS时都去DC验证，而通过查询client credentials就可以验证了。
2. 相互身份验证：client和server可以互相验证。
3. 互操作性：微软的Kerberos V5实现是基于IETF的推荐标准规范。这样，Windows Server 2003的Kerberos V5实现就为其他使用Kerberos V5协议的网络的互操作打下了基础。

参考：https://mp.weixin.qq.com/s/nO6m48UDBrjuEJ5CoTe2uw