存储性能优化
在网站应用中，海量的数据读写对磁盘访问造成巨大压力，虽然可以通过Cache解 决一部分数据读压力，但是很多时候，磁盘仍然是系统最严重的瓶颈。而且磁盘中存储的数据是网站最重要的资产，磁盘的可用性和容错性也至关重要。
Cache缓冲
我想你问的是每次播放歌曲和电影时候的缓冲是什么？对吧？其实你每次不论是看电影，还是听歌，都是把电影和歌曲下载到了你的电脑上再进行 听和看 。像一般的IE浏览器都是下载到这个路径C:\Documents and Settings\用户名（一般都是 “Administrator”）\Local Settings\Temporary Internet Files所以说缓冲其实就是已经下载到你电脑的部分缓存
1、机械硬盘VS固态硬盘
机械硬盘是目前最常用的一种硬盘，通过马达驱动磁头臂，带动磁头到指定的磁盘 位置访问数据，由于每次访问数据都需要移动磁头臂，因此机械硬盘在数据连续访问（要 访问的数据存储在连续的磁盘空间上）和随机访问（要访问的数据存储在不连续的磁盘 空间）时，由于移动磁头臂的次数相差巨大，性能表现差别也非常大。机械硬盘如图：
固态硬盘又称作SSD或Flash硬盘，这种硬盘没有机械装置，数据存储在可持久记 忆的硅晶体上，因此可以像内存一样快速随机访问。而且SSD具有更小的功耗和更少的 磁盘震动与噪声
在网站应用中，大部分应用访问数据都是随机的，这种情况下SSD具有更好的性能 表现。但是目前SSD硬盘还不太成熟，可靠性、性价比有待提升，因此SSD的使用还在 摸索阶段。但是相信随着SSD工艺水平的提高，逐步替代传统机械硬盘是迟早的事。
2、B+树 vs. LSM 树
由于传统的机械磁盘具有快速顺序读写、慢速随机读写的访问特性， 这个特性对磁盘存储结构和算法的选择影响甚大
为了改善数据访问特性，文件系统或数据库系统通常会对数据排序后存储，加快数 据检索速度，这就需要保证数据在不断更新、插入、删除后依然有序，传统关系数据库 的做法是使用B十树
B+树是一种专门针对磁盘存储而优化的N叉排序树，以树节点为单位存储在磁盘中， 从根开始查找所需数据所在的节点编号和磁盘位置，将其加载到内存中然后继续查找， 直到找到所需的数据。
目前数据库多采用两级索引的B+树，树的层次最多三层。因此可能需要5次磁盘访 问才能更新一条记录（三次磁盘访问获得数据索引及行ID，然后再进行一次数据文件读 操作及一次数据文件写操作)。
但是由于每次磁盘访问都是随机的，而传统机械硬盘在数据随机访问时性能较差， 每次数据访问都需要多次访问磁盘影响数据访问性能。
目前许多NoSQL产品釆用LSM树作为主要数据结构
LSM树可以看作是一个N阶合并树。数据写操作（包括插入、修改、删除）都在内 存中进行，并且都会创建一个新记录（修改会记录新的数据值，而删除会记录一个删除 标志），这些数据在内存中仍然还是一棵排序树，当数据量超过设定的内存阈值后，会将 这棵排序树和磁盘上最新的排序树合并。当这棵排序树的数据量也超过设定阈值后，和 磁盘上下一级的排序树合并。合并过程中，会用最新更新的数据覆盖旧的数据（或者记 录为不同版本)。
在需要进行读操作时，总是从内存中的排序树开始搜索，如果没有找到，就从磁盘 上的排序树顺序查找。
在LSM树上进行一次数据更新不需要磁盘访问，在内存即可完成，速度远快于B+ 树。当数据访问以写操作为主，而读操作则集中在最近写入的数据上时，使用LSM树可以极大程度地减少磁盘的访问次数，加快访问速度。
作为存储结构，B+树不是关系数据库所独有的，NoSQL数据库也可以使用B+树。 同理，关系数据库也可以使用LSM，而且随着SSD硬盘的日趋成熟及大容量持久存储的 内存技术的出现，相信B+树这一“古老”的存储结构会再次焕发青春。
3、RAID vs. HDFS
RAID (廉价磁盘冗余阵列）技术主要是为了改善磁盘的访问延迟，增强磁盘的可用 性和容错能力。目前服务器级别的计算机都支持插入多块磁盘（8块或者更多），通过使 用RAID技术，实现数据在多块磁盘上的并发读写和数据备份。
RAID0
数据在从内存缓冲区写入磁盘时，根据磁盘数量将数据分成N份，这些数据同时并 发写入N块磁盘，使得数据整体写入速度是一块磁盘的N倍。读取时也一样，因此RAID0 具有极快的数据读写速度，但是RAID0不做数据备份，N块磁盘中只要有一块损坏，数 据完整性就被破坏，所有磁盘的数据都会损坏。
RAID1
数据在写入磁盘时，将一份数据同时写入两块磁盘，这样任何一块磁盘损坏都不会 导致数据丢失，插入一块新磁盘就可以通过复制数据的方式自动修复，具有极高的可靠性。
RAID10
结合RAID0和RAID1两种方案，将所有磁盘平均分成两份，数据同时在两份磁盘写入，相当于RAID1，但是在每一份磁盘里面的N/2利用RAIDO技术并发读写， 既提高可靠性又改善性能，不过RAID10的磁盘利用率较低，有一半的磁盘用来写备份数据。
RAID3
一般情况下，一台服务器上不会出现同时损坏两块磁盘的情况，在只损坏一块磁盘 的情况下，如果能利用其他磁盘的数据恢复损坏磁盘的数据，这样在保证可靠性和性能 的同时，磁盘利用率也得到大幅提升。
在数据写入磁盘的时候，将数据分成 N-1份，并发写入N-1块磁盘，并在第N块磁 盘记录校验数据，任何一块磁盘损坏（包括校验数据磁盘），都可以利用其他N-1块磁盘 的数据修复。
但是在数据修改较多的场景中，修改任何磁盘数据都会导致第N块磁盘重写校验数据，频繁写入的后果是第N块磁盘比其他磁盘容易损坏，需要频繁更换，所以RAID3很 少在实践中使用。
RAID5
相比RAID3,方案RAID5被更多地使用
RAID5和RAID3很相似，但是校验数据不是写入第N块磁盘，而是螺旋式地写入所 有磁盘中。这样校验数据的修改也被平均到所有磁盘上，避免RAID3频繁写坏一块磁盘 的情况。
RAID6
如果数据需要很高的可靠性，在出现同时损坏两块磁盘的情况下（或者运维管理水 平比较落后，坏了一块磁盘但是迟迟没有更换，导致又坏了一块磁盘），仍然需要修复数 据，这时候可以使用RAID6。
RAID6和RAID5类似，但是数据只写入N-2块磁盘，并螺旋式地在两块磁盘中写入
校验信息（使用不同算法生成)。
RAID技术可以通过硬件实现，比如专用的RAID卡或者主板直接支持，也可以通过 软件实现。RAID技术在传统关系数据库及文件系统中应用比较广泛，但是在大型网站比 较喜欢使用的NoSQL，以及分布式文件系统中，RAID技术却遭到冷落。
例如在HDFS (Hadoop分布式文件系统）中，系统在整个存储集群的多台服务器上 进行数据并发读写和备份，可以看作在服务器集群规模上实现了类似RAID的功能，因此 不需要磁盘RAID。
HDFS以块（Block )为单位管理文件内容，一个文件被分割成若干个Block，当应用 程序写文件时，每写完一个Block，HDFS就将其自动复制到另外两台机器上，保证每个 Block有三个副本，即使有两台服务器宕机，数据依然可以访问，相当于实现了 RAID1 的数据复制功能。
当对文件进行处理计算时，通过MapReduce并发计算任务框架，可以启动多个计算 子任务（MapReduce Task)，同时读取文件的多个Block，并发处理，相当于实现了 RAID0
的并发访问功能。
在HDFS中有两种重要的服务器角色：NameNode (名字服务节点）和DataNode (数 据存储节点)。NameNode在整个HDFS中只部署一个实例，提供元数据服务，相当于操 作系统中的文件分配表（FAT )，管理文件名Block的分配，维护整个文件系统的目录树 结构。DataNode则部署在HDFS集群中其他所有服务器上，提供真正的数据存储服务。
和操作系统一样，HDFS对数据存储空间的管理以数据块（Block)为单位，只是比 操作系统中的数据块（512字节）要大得多，默认为64MB。HDFS将DataNode上的磁盘 空间分成M个这样的块，供应用程序使用。
应用程序（Client)需要写文件时，首先访问NameNode,请求分配数据块，NameNode
根据管理的DataNode服务器的磁盘空间，按照一定的负载均衡策略，分配若干数据块供 Client 使用。
当Client写完一个数据块时,HDFS会将这个数据块再复制两份存储在其他DataNode 服务器上，HDFS默认同一份数据有三个副本，保证数据可靠性。因此在HDFS中，即使 DataNode服务器有多块磁盘，也不需要使用RAID进行数据备份，而是在整个集群上进 行数据复制，而且系统一旦发现某台服务器宕机，会自动利用其他机器上的数据将这台 服务器上存储的数据块自动再备份一份，从而获得更高的数据可靠性。
HDFS配合MapReduce等并行计算框架进行大数据处理时，可以在整个集群上并发 读写访问所有的磁盘，无需RAID支持。
小结
网站性能优化技术是在网站性能遇到问题时的解决方案。而网站的性能问题很多是 在用户高并发访问时产生的，所以网站性能优化的主要工作是改善高并发用户访问情况 下的网站响应速度。本章开篇所举的例子，当老板说“我们要改善网站性能”的时候， 他期望的是在A方案的基础上，不管是100个并发访问还是200个并发访问，响应时间 都能达到1秒。而架构师能做到的，则是利用分布式的方案改善网站并发特性，由于分 布式不可避免地会带来架构复杂、网络通信延迟等问题，所以最终设计出来的可能是B 方案：缩短高并发访问响应延迟的同时，却延长了原来低并发访问时的响应延迟。架构 师对这种可能性要心中有数，合理调整相关各方对性能优化的心理预期。
网站性能对最终用户而E是一种主观感受，性能优化的最终目的就是改善用户的体 验，使他们感觉网站很快。离开这个目的，追求技术上的所谓高性能，是舍本逐末，没 有多大意义。而用户体验的快或是慢，可以通过技术手段改善，也可以通过优化交互体 验改善。
即使在技术层面，性能优化也需要全面考虑，综合权衡：性能提升一倍，但服务器 数量也需要增加一倍；或者响应时间缩短，同时数据一致性也下降，这样的优化是否可 以接受？这类问题的答案不是技术团队能回答的。归根结底，技术是为业务服务的，技 术选型和架构决策依赖业务规划乃至企业战略规划，离开业务发展的支撑和驱动，技术走不远，甚至还会迷路。
前沿技术总是出现在前沿业务领域。近几年，以Google为首的互联网企业 领跑IT前沿技术潮流，是因为互联网企业的业务发展远超传统IT企业领域， 面临更多挑战，对IT系统提出了更高的要求。
新技术的出现又会驱动企业开展新的业务。亚马逊等互联网公司利用自己 的技术优势进军企业级市场，以技术驱动业务，开展云计算、SaaS等新兴IT 业务，逐步蚕食IBM、HP、Oracle、微软等传统软件巨头的市场
声明：以上内容来自：《大型网站技术架构：核心原理与案例分析书籍》
下一章：万无一失：网站高可用架构