statement
Homepage : Metastorage blog_CSDN blog
is organized according to public knowledge and experience, please leave a message if there is any mistake.
Personal hard work, paid content, reprinting is prohibited.
abstract
1 What is SSD
2 Storage media classification of SSD
3 Structure of SSD
3.1 Main Controller
3.2 Storage unit
3.3 Classification of flash memory
4 Principle of Host accessing SSD
5 SSD Related Concepts and Technologies
5.1 Multi-Plane operation
5.2 Multi-Die interleaved operation
5.3 FTL
5.4 Wear leveling
5.5 Garbage collection
5.6 Trim
5.7 Over-provisioning
5.8 Write amplification
5.9 ECC
foreword
Due to the internal structure of the mechanical hard disk storage system, its IO access performance cannot be further improved, and the performance gap between the CPU and the memory is gradually widening. With the development of solid-state hard disk technology using Nand Flash as the storage medium, the performance bottleneck has been alleviated.
1 What is SSD
Solid State Drives (Solid State Drives), a hard disk made of solid-state electronic memory chip arrays, consists of a control unit and a storage unit (FLASH chip, DRAM chip). SSDs are widely used in important fields such as military, vehicle systems, engineering control technology, video surveillance storage, network surveillance storage, network terminal storage, power systems, medical information storage, aviation technology, and navigation equipment storage.
2 Storage media classification of SSD
There are two types of storage media for solid-state drives (SSD), one is to use flash memory (FLASH chip) as the storage medium, and the other is to use DRAM as the storage medium.
Based on flash memory : Flash memory-based solid-state drives (IDEFLASH DISK, Serial ATA Flash Disk) use FLASH chips as storage media, which is also commonly referred to as SSD. Its appearance can be made into various shapes, such as: notebook hard disk, micro hard disk, memory card, U disk and other styles. The biggest advantage of this kind of SSD solid-state hard drive is that it can be moved, and data protection is not controlled by the power supply. It can adapt to various environments and is suitable for individual users.
DRAM-based : DRAM-based solid-state drives use DRAM as a storage medium and have a narrow range of applications. It imitates the design of traditional hard disks, and can be set and managed by file system tools of most operating systems, and provides industry-standard PCI and FC interfaces for connecting to hosts or servers. The application mode can be divided into SSD hard disk and SSD hard disk array. It is a high-performance memory with a long service life. The fly in the ointment is that it needs an independent power supply to protect data security. DRAM solid-state drives are relatively non-mainstream devices.
Based on 3D XPoint : a new generation of memory technology that creates a new market between flash memory and DRAM , 3D XPoint is a new non-volatile storage technology, that is, it can retain data when power is turned off like NAND flash memory, but at the same time it has The extremely high speed and performance can reach the level of DRAM memory, so it can be made into both hard disk and memory, and the cost per unit capacity is between the two, which can be called a dreamy black technology. 3D XPoint's first product will be an "Optane" branded SSD. There are only a few high-end series, and 3D XPoint technology has been abandoned. It is a pity that such a powerful technology has a performance that kills all kinds of NAND SSDs, and finally loses to the market, which is short-lived.
3 Structure of SSD
SSD is mainly composed of main controller chip, flash memory chip, cache chip (optional), and HOST interface (such as SATA, SAS, PCIe, etc.). As a data storage device, SSD is actually a typical (System on Chip) stand-alone system, which has modules such as main control CPU, RAM, operation accelerator, bus, and data encoding and decoding (Error Correct) (see Figure 2-1). The operation objects are protocols, data commands, and media, and the operation purpose is to write and read user data. [7]
Image source[13]
3.1 Main Controller
The SSD controller is the main control chip of the solid-state hard disk, responsible for commanding, calculating and coordinating the operation of the SSD device and FTL (Flash Translation Layer) algorithm [8]. The current mainstream SSD master control architecture is as follows:
It mainly consists of three parts: the interface connected with the Host (Host interface, ) is called the front end , the flash translation layer FTL is called the middle end , and the flash interface (Flash interface) is called the back end .
Each SSD has a controller (controller) to connect the storage unit to the computer. The main controller can operate multiple FLASH particles in parallel through several channels (channels), similar to RAID0, which greatly improves the underlying bandwidth. The controller is an embedded processor that executes firmware code. The main functions are as follows:
Read
Write
Trim
Error Checking and Correction (ECC)
Address Translation - Mapping Management
Garbage Collection - garbage collection
Wear Leveling - wear leveling
Power off Recovery —— power off recovery
Error Handler - bad block management
SLC Cache
Read Disturb & Data Retention
Over Privision - reserved space
Latecency smooth management
WAF write amplification
cache control
encryption
compression
deduplication
HMB（host memory buffer） 管理
固件升级
Self Test
3.2 存储单元
尽管有某些厂商推出了基于更高速的 DRAM 内存的产品，但 NAND 闪存依然最常见，占据着绝对主导地位。一般采用 TLC(multi-level cell) 甚至 QLC(Triple Level Cell) 闪存，其特点是容量大、速度慢、可靠性低、存取次数低、价格也低。高端产品一般采用 SLC(single-level cell) 闪存，其特点是技术成熟、容量小、速度快、可靠性高、存取次数高、价格也高。但是事实上，取决于不同产品的内部架构设计，速度和可靠性的差别也可以通过各种技术加以弥补甚至反转。
闪存内部结构
一个Die又可以分为多个Plane,而每个Plane又包含多个多个Block,每个Block又分为多个Page。以Samsung 4GB Flash为例，共享8位I/0数据总线和一些控制信号线。每个Die由4个Plane组成，每个Plane包含2048个Block，每个Block又包含64个4KB大小的Page。我们顺序写入4个逻辑页，分别写到不同的plane上，这样写的目的是增加底层的并行性，提升写入性能。
参考：[121114961]
3.3 闪存的分类
NAND FLASH 从 SLC -> MLC -> TLC -> QLC，每个单元存储的比特数增加，这样晶圆的存储密度会成倍提高，但对应的整卡可写入/擦除次数(P/E Cycle) 也降低（意味着寿命也越短），读写性能会越差。最重要的单位GB的成本会更低，芯片的成本是和面积直接相关的。面积越小，一个晶圆切出的Die(片)数目就更多，单Die的成本就降下来了。[12]
各大原厂孜孜不倦地提高每个单元的比特数，目的就是为了减少成本，成本才是王道！
4 Host访问SSD的原理
固态硬盘的存储器件采用的是闪存，具有以下几个特点：
(1)读写基本单位是以页（Page）为单位，擦除是以块（Block）为单位。
(2)每个物理块，必须先擦除，才能够写入数据。
基于这些问题，在固态硬盘中引入了闪存转换层映射表。
Host是通过LBA（Logical BlockAddress，逻辑地址块）访问SSD的，每个LBA代表着一个Sector（一般为512B大小），文件系统一般以4KB为单位访问SSD，我们把Host访问SSD的基本单元叫用户页（Host Page）。而在SSD内部，SSD主控与Flash之间是Flash Page为基本单元访问Flash的，我们称Flash Page为物理页（Physical Page）。Host每写入一个Host Page, SSD主控会找一个Physical Page把Host数据写入，SSD内部同时记录了这样一条映射（Map）。有了这样一个映射关系后，下次Host需要读某个Host Page 时，SSD就知道从Flash的哪个位置把数据读取上来。
SSD内部维护了一张映射表（Map Table），Host每写入一个Host Page，就会产生一个新的映射关系，这个映射关系会加入（第一次写）或者更改（覆盖写）Map Table；当读取某个Host Page时， SSD首先查找Map Table中该Host Page对应的Physical Page，然后再访问Flash读取相应的Host数据。
大多数SSD，我们可以看到上面都有板载DRAM，其主要作用就是用来存储这张映射表。也有例外，比如基于Sandforce主控的SSD，它并不支持板载DRAM，那么它的映射表存在哪里呢？SSD工作时，它的绝大部分映射是存储在FLASH里面，还有一部分存储在片上RAM上。当Host需要读取一笔数据时，对有板载DRAM的SSD来说，只要查找DRAM当中的映射表，获取到物理地址后访问Flash从而得到Host数据.这期间只需要访问一次FlashH；而对Sandforce的SSD来说，它首先看看该Host Page对应的映射关系是否在RAM内，如果在，那好办，直接根据映射关系读取FLASH；如果该映射关系不在RAM内，那么它首先需要把映射关系从FLASH里面读取出来，然后再根据这个映射关系读取Host数据，这就意味着相比有DRAM的SSD，它需要读取两次FLASH才能把HOST数据读取出来，底层有效带宽减半。对HOST随机读来说，由于片上RAM有限，映射关系Cache命中(映射关系在片上RAM)的概率很小，所以对它来说，基本每次读都需要访问两次FLASH，所以我们可以看到基于Sandforce主控的SSD随机读取性能是不太理想的。
5 SSD相关概念和技术
5.1 多Plane操作
多 Plane NAND 是一种能够有效提升性能的设计。例如，一个晶片内部分成了4个 Plane，想象我们在操作时，也可以进行多Plane并行操作来提升性能，
不同的Die 是独立工作的，可以并行操作。
多个SSD Channel 可以并行操作。
5.2 多Die交错操作
交错操作可以成倍提升NAND的传输率，因为NAND颗粒封装时候可能有多Die、多Plane(每个plane都有4KB寄存器)，不同Die操作时候可以交叉操作(第一个plane接到指令后，在操作的同时第二个指令已经发送给了第二个Die，以此类推)，达到接近双倍甚至4倍的传输能力(看闪存颗粒支持度)。
5.3 FTL
操作系统通常将硬盘理解为一连串 512B 大小的扇区[注意：操作系统对磁盘进行一次读或写的最小单位并不是扇区，而是文件系统的块，一般为 512B/1KB/4KB 之一(也可能更大)，其具体大小在格式化时设定]，但是闪存的读写单位是 4KB 或 8KB 大小的页，而且闪存的擦除(又叫编程)操作是按照 128 或 256 页大小的块来操作的。更要命的是写入数据前必须要先擦除整个块，而不能直接覆盖。这完全不符合现有的、针对传统硬盘设计的文件系统的操作方式，很明显，我们需要更高级、专门针对 SSD 设计的文件系统来适应这种操作方式。但遗憾的是，目前还没有这样的文件系统。为了兼容现有的文件系统，就出现了 FTL(闪存转换层)，它位于文件系统和物理介质之间，把闪存的操作习惯虚拟成以传统硬盘的 512B 扇区进行操作。这样，操作系统就可以按照传统的扇区方式操作，而不用担心之前说的擦除/读/写问题。一切逻辑到物理的转换，全部由 FTL 层包了。
FTL 算法，本质上就是一种逻辑到物理的映射，因此，当文件系统发送指令说要写入或者更新一个特定的逻辑扇区时，FTL 实际上写入了另一个空闲物理页，并更新映射表，再把这个页上包含的旧数据标记为无效(更新后的数据已经写入新地址了，旧地址的数据自然就无效了)。
5.4 磨损平衡(Wear leveling)
简单说来，磨损平衡是确保闪存的每个块被写入的次数相等的一种机制。
如果系统中的所有块都定期更新，这就没有问题，因为当页面被标记为无效然后被回收时，磨损均衡几乎会自然发生。通常情况下，在 NAND 块里的数据更新频度是不同的。具体来说：如果我们有一些冷块，即数据永远不会改变的位置，那么我们必须采取措施手动重新定位该数据，否则这些块将永远不会磨损……磨损均衡需要将数据搬移到新的块，这意味着我们也在增加写入工作量，这最终意味着增加磨损。
因此，简而言之，我们对均匀磨损均衡的要求越高，我们造成的磨损就越多。但不够积极可能会导致热点和冷点，因为磨损变得更加不均匀。一如既往，这是一个找到正确平衡的问题。或者，如果您愿意，找到写入平衡。
磨损平衡算法分静态和动态。动态磨损算法是基本的磨损算法：只有用户在使用中更新的文件占用的物理页地址被磨损平衡了。而静态磨损算法是更高级的磨损算法：在动态磨损算法的基础上，增加了对于那些不常更新的文件占用的物理地址进行磨损平衡，这才算是真正的全盘磨损平衡。简单点说来，动态算法就是每次都挑最年轻的 NAND 块来用，老的 NAND 块尽量不用。静态算法就是把长期没有修改的老数据从一个年轻 NAND 块里面搬出来，重新找个最老的 NAND 块放着，这样年轻的 NAND 块就能再度进入经常使用区。
尽管磨损均衡的目的是避免数据重复在某个空间写入，以保证各个存储区域内磨损程度基本一致，从而达到延长固态硬盘的目的。但是，它对固态硬盘的性能有不利影响，并且会增加磨损。
5.5 垃圾回收(Garbagecollection)
当整个SSD写满后，从用户角度来看，如果想写入新的数据，则必须删除一些数据，然后腾出空间再写。用户在删除和写入数据的过程中，会导致一些Block里面的数据变无效或者变老。Block中的数据变老或者无效，是指没有任何映射关系指向它们，用户不会访问到这些FLASH空间，它们被新的映射关系所取代。比如有一个Host Page A，开始它存储在FLASH空间的X,映射关系为A->X。后来，HOST重写了该Host Page，由于FLASH不能覆盖写，SSD内部必须寻找一个没有写过的位置写入新的数据，假设为Y，这个时候新的映射关系建立：A->Y，之前的映射关系解除，位置X上的数据变老失效，我们把这些数据叫垃圾数据。随着HOST的持续写入，FLASH存储空间慢慢变小，直到耗尽。如果不及时清除这些垃圾数据，HOST就无法写入。SSD内部都有垃圾回收机制，它的基本原理是把几个Block中的有效数据（非垃圾数据）集中搬到一个新的Block上面去，然后再把这几个Block擦除掉，这样就产生新的可用Block了.
另一方面，由前面的磨损平衡机制知道，磨损平衡的执行需要有“空白块”来写入更新后的数据。当可以直接写入数据的“备用空白块”数量低于一个阀值后，SSD主控制器就会把那些包含无效数据的块里的所有有效数据合并起来写到新的“空白块”中，然后擦除这个块以增加“备用空白块”的数量。
有三种垃圾回收策略：
闲置垃圾回收：很明显在进行垃圾回收时候会消耗大量的主控处理能力和带宽造成处理用户请求的性能下降，SSD 主控制器可以设置在系统闲置时候做“预先”垃圾回收(提前做垃圾回收操作)，保证一定数量的"备用空白块"，让 SSD 在运行时候能够保持较高的性能。闲置垃圾回收的缺点是会增加额外的"写入放大"，因为你刚刚垃圾回收的"有效数据"，也许马上就会被更新后的数据替代而变成"无效数据"，这样就造成之前的垃圾回收做无用功了。
被动垃圾回收：每个 SSD 都支持的技术，但是对主控制器的性能提出了很高的要求，适合在服务器里用到，SandForce 的主控就属这类。在垃圾回收操作消耗带宽和处理能力的同时处理用户操作数据，如果没有足够强劲的主控制器性能则会造成明显的速度下降。这就是为啥很多 SSD 在全盘写满一次后会出现性能下降的道理，因为要想继续写入数据就必须要边垃圾回收边做写入。
手动垃圾回收：用户自己手动选择合适的时机运行垃圾回收软件，执行垃圾回收操作。
可以想象，如果系统经常进行垃圾回收处理，频繁的将一些区块进行擦除操作，那么 SSD 的寿命反而也会进一步下降。由此把握这个垃圾回收的频繁程度，同时确保 SSD 中的闪存芯片拥有更高的使用寿命，这确实需要找到一个完美的平衡点。所以，SSD 必须要支持 Trim 技术，不然 GC 就显不出他的优势了。
5.6 Trim
Trim 是一个 ATA 指令，当操作系统删除文件或格式化的时候，由操作系统同时把这个文件地址发送给 SSD 的主控制器，让主控制器知道这个地址的数据无效了。当你删除一个文件的时候，文件系统其实并不会真正去删除它，而只是把这个文件地址标记为“已删除”，可以被再次使用，这意味着这个文件占的地址已经是“无效”的了。这就会带来一个问题，硬盘并不知道操作系统把这个地址标记为“已删除”了，机械盘的话无所谓，因为可以直接在这个地址上重新覆盖写入，但是到了 SSD 上问题就来了。NAND 需要先擦除才能再次写入数据，要得到空闲的 NAND 空间，SSD 必须复制所有的有效页到新的空闲块里，并擦除旧块(垃圾回收)。如果没有 Trim 指令，意味着 SSD 主控制器不知道这个页是“无效”的，除非再次被操作系统要求覆盖上去。
Trim 只是条指令，让操作系统告诉 SSD 主控制器这个页已经“无效”了。Trim 会减少写入放大，因为主控制器不需要复制“无效”的页(没 Trim 就是“有效”的)到空白块里，这同时代表复制的“有效”页变少了，垃圾回收的效率和 SSD 性能也提升了。Trim 能大量减少伪有效页的数量，它能大大提升垃圾回收的效率。目前，支持 Trim 需要三个要素，
(1)系统：操作系统必须会发送 Trim 指令，Win7, Win2008R2 , Linux-2.6.33 以上。
(2)固件： SSD 的厂商在固件里要放有 Trim 算法，也就是 SSD 的主控制器必须认识 Trim 指令。
(3)驱动： 控制器驱动必须要支持 Trim 指令的传输，也就是能够将 Trim 指令传输到 SSD 控制器。MS 的驱动，Intel 的 AHCI 驱动目前支持。别的要看之后的更新了。
目前，RAID 阵列里的盘明确不支持 TRIM，不过 RAID 阵列支持 GC。
5.7 预留空间(Over-provisioning)
预留空间是指用户不可操作的容量，为实际物理闪存容量减去用户可用容量。这块区域一般被用来做优化，包括磨损均衡，GC和坏块映射。
第一层为固定的7.37%，这个数字是如何得出的哪？我们知道机械硬盘和 SSD 的厂商容量是这样算的，1GB 是1,000,000,000字节(10的9 次方)，但是闪存的实际容量是每 GB=1,073,741,824，(2的30次方) ，两者相差7.37%。所以说假设1块 128GB 的 SSD，用户得到的容量是 128,000,000,000 字节，多出来的那个 7.37% 就被主控固件用做OP了。
第二层来自制造商的设置，通常为 0%，7%，28% 等，打个比方，对于 128G 颗粒的 SandForce 主控 SSD，市场上会有 120G 和 100G 两种型号卖，这个取决于厂商的固件设置，这个容量不包括之前的第一层 7.37% 。
第三层是用户在日常使用中可以分配的预留空间，用户可以在分区的时候，不分到完全的 SSD 容量来达到这个目的。不过需要注意的是，需要先做安全擦除(Secure Erase)，以保证此空间确实没有被使用过。
预留空间的具体作用：
(1)垃圾回收：就是要把数据搬来搬去，那就需要始终有空的地方来放搬的数据。空的越多，搬的越快，多多益善，有些SSD为了更快，还会再拿走一些用户的容量。
(2)映射表等内部数据保存：SSD里面有一个巨大的映射表，把用户地址转成物理Flash颗粒地址，需要保存，以防掉电丢失。这个大概是千分之三的容量。
(3)坏块替换：写得多了，坏块会逐渐增加，需要用好的顶替。随着Flash的制程从32nm不断变小，变到现在的14nm，Flash质量越来越差，坏块越来越多，这部分可能会到3%甚至更多。
5.8 写入放大(Write amplification)
因为闪存必须先擦除(也叫编程)才能写入，在执行这些操作的时候，移动或覆盖用户数据和元数据(metadata)不止一次。这些额外的操作，不但增加了写入数据量，减少了SSD的使用寿命，而且还吃光了闪存的带宽，间接地影响了随机写入性能。这种效应就叫写入放大(Write amplification)。一个主控的好坏主要体现在写入放大上。
比如我要写入一个 4KB 的数据，最坏的情况是，一个块里已经没有干净空间了，但是有无效数据可以擦除，所以主控就把所有的数据读到缓存，擦除块，从缓存里更新整个块的数据，再把新数据写回去。这个操作带来的写入放大就是：我实际写4K的数据，造成了整个块(1024KB)的写入操作，那就是256倍放大。同时带来了原本只需要简单的写4KB的操作变成闪存读取(1024KB)，缓存改(4KB)，闪存擦(1024KB)，闪存写(1024KB)，造成了延迟大大增加，速度急剧下降也就是自然的事了。所以，写入放大是影响 SSD 随机写入性能和寿命的关键因素。
用100%随机4KB来写入 SSD，对于目前的大多数 SSD 主控而言，在最糟糕的情况下，写入放大的实际值可能会达到或超过20倍。当然，用户也可以设置一定的预留空间来减少写入放大，假设你有个 128G 的 SSD，你只分了 64G 的区使用，那么最坏情况下的写入放大就能减少约3倍。
许多因素影响 SSD 的写入放大。下面列出了主要因素，以及它们如何影响写入放大。
(1)垃圾回收虽然增加了写入放大(被动垃圾回收不影响，闲置垃圾回收影响)，但是速度有提升。
(2)预留空间可以减少写入放大，预留空间越大，写入放大越低。
(3)开启 TRIM 指令后可以减少写入放大
(4)用户使用中没有用到的空间越大，写入放大越低(需要有 Trim 支持)。
(5)持续写入可以减少写入放大。理论上来说，持续写入的写入放大为1，但是某些因素还是会影响这个数值。
(6)随机写入将会大大提升写入放大，因为会写入很多非连续的 LBA。
(7)磨损平衡机制直接提高了写入放大
5.9 ECC
ECC的全称是Error Checking and Correction，是一种用于Nand的差错检测和修正算法。由于NAND Flash的工艺不能保证NAND在其生命周期中保持性能的可靠，因此，在NAND的生产中及使用过程中会产生坏块。为了检测数据的可靠性，在应用NAND Flash的系统中一般都会采用一定的坏区管理机制，而管理坏区的前提是能比较可靠的进行坏区检测。如果操作时序和电路稳定性不存在问题的话，NAND Flash出错的时候一般不会造成整个Block或是Page不能读取或是全部出错，而是整个Page中只有一个或几个bit出错，这时候ECC就能发挥作用了。不同颗粒有不同的基本ECC要求，不同主控制器支持的ECC能力也不同，理论上说主控越强ECC能力越强。
参考：
[1] SSD(固态硬盘)简介 http://www.jinbuguo.com/storage/ssd_intro.html
[2] SSD背后的秘密：SSD基本工作原理 http://www.ssdfans.com/?p=131
[3] 固态硬盘(SSD)原理及相关介绍 https://blog.csdn.net/cighao/article/details/48135137
[4] [SSD固态硬盘技术 15] FTL映射表的神秘面纱 https://blog.csdn.net/vagrant0407/article/details/128983639
[5] [SSD固态硬盘技术 9] FTL详解 https://blog.csdn.net/vagrant0407/article/details/128978780
[6] 王发宽.基于NADA闪存的混合固态硬盘设计研究[D].杭州:杭州电子科技大学,2017.
[7] SSD Fans.深入浅出SSD[M].机械工业出版社,2018.
[8] 李想.基于软件架构的固态硬盘FTL设计[D].武汉:华中科技大学,2015.
[9] 赵鹏,白石.基于随机游走的大容量固态硬盘磨损均衡算法[J].计算机学报,2012,35(5):972-978.
[10] 周懿,戴紫彬,面向Nand Flash自适应纠错码方案研究与设计[J].计算机工程与设计,2017,38(6):1681-1685.
[11] 固态硬盘存储技术的分析https://blog.csdn.net/weixin_46637351/article/details/126013567
[12] NOR Flash 和 NAND Flash 闪存详解https://blog.csdn.net/vagrant0407/article/details/127813278