PCIe SSD之SFF-8639和备受关注的热插拔功能

热插拔功能是PCIe SSD的一项重要功能，能大大简化设备更换和调试步骤。特别是在服务器厂商推出支持 U.2 接口的产品后，对热插拔的需求更加广泛。热插拔在 PBlaze5 PCIe SSD应用非常成熟。这篇文章旨在为使用 PBlaze5为代表的U.2接口的PCIe SSD进行热插拔操作提供参考。

热插拔（Hot-plug）功能是允许用户在不关闭系统，不切断电源的情况下取出和更换设备，从而提高了系统对灾难的及时恢复能力、增强扩展性和灵活性等。支持热插拔的平台能够保证在热插入（Hot Insertion）的时候，自动检测到设备并将其注册到相应驱动，在热拔出的时候，能够自动检测到设备丢失并从驱动移除，整个过程不需要系统重启。并且在热插拔操作之后，系统和设备能够正常工作。

热插拔操作看似简单，但是根据设备是否带电、操作系统是否提前得到通知等因素，热插拔有多重操作场景。根据场景的不同，热插拔可以分为以下四类具体的操作：

热插拔类型	场景描述	PBlaze5 支持情况
热添加 / 热插入 (Hot Add/Hot Insertion)	将 PCIe SSD 插入带电、OS 正在运行的系统中，或者同时有上层软件（RAID）正在管理使用 SSD。通常该操作是为了扩容或者替换失效的设备。	支持
正常热移除 (Orderly Hot Removal)	通知操作系统，提前禁用设备的情况下进行拔出动作。已知设备失效，停止和设备的通信，或从上层软件中移除。	支持
热交换 (Hot Swap)	热拔出动作后又进行了热添加动作。通常是进行失效设备的替换。	支持
意外热移除 (Surprise Hot Removal )	当系统还在使用 PCIe SSD 时，设备被突然拔出，这时可能还有 IO的通信，这种操作不推荐使用。通常是操作失误导致，例如移除了错误的设备。PBlaze5 提供定位功能，通过发送 locate 指令，可以点亮 LED 对需要移除的 SSD 进行定位。	支持（不建议用户使用意外热移除操作,下文将进行具体解释）

成熟的热插拔技术首先需要保障操作系统不会崩溃或者死机；其次，PCIe SSD 对于已经确认接收的 I/O 数据不会因为热插拔而导致数据丢失；最后在进行热插拔实验后，PCIe SSD设备能够正常工作。

需要指出的是，热插拔操作涉及环节众多，用户需要依照正确的流程进行操作才可以最大限度的避免各类风险，保障业务连续和数据完整性。下面就从热插拔的原理入手介绍这一技术以及相关的注意事项。

热插拔基本原理

从硬件层面讲，卡槽的 PCIe 引脚 PRSNT2#能够随着外接设备的接入和拔出得到不同的电平，从而触发热插拔事件，如下图。PCIe3.0 协议规定了多个热插拔事件和热插拔支持功能，如 Attention Button，电源控制（Power Control）等，各类服务器对热插拔的支持也不相同。最基础的，热插拔卡槽需要具备产生 Presence Status Change 事件的能力。

PCIe Capabilities 寄存器提供了热插拔相关配置和状态信息。在 PBlaze5 PCIe SSD接入系统后，可通过 lspci –t 查看其对应的 PCIe 卡槽信息，下文中<bus:dev.function>均表示的是热插拔测试中与 PBlaze5 对应的 PCIe 卡槽。

需要指出的是，热插拔事件可以由 BIOS（ACPI）处理，也可以由操作系统处理，Memblaze 推荐由操作系统处理的方式，如果 BIOS 中有 ACPI hot-plug 选项，请选择否。此外，相对于 Linux 原生驱动，Memblaze 提供的驱动进一步完善对 hotplug 的支持，推荐使用。

检查 Linux Kernel 是否编译 hotplug driver，确认 linux 内核编译配置文件设置以下项：

CONFIG_HOTPLUG_PCI_PCIE=y

CONFIG_HOTPLUG_PCI=y

CONFIG_HOTPLUG_PCI_ACPI=y

检查 Memblaze 驱动是否加载成功，使用如下命令查看 NVMe 驱动版本

#cat /sys/module/nvme/version

注：如果不使用 Memblaze 驱动，在 Linux 系统下，需要将内核升级至 3.14 以上保证原生 NVMe 驱动对热插拔的支持。

确认PCIe 槽是否支持热插拔

依照上面介绍的基本原理，在进行热插拔操作之前，用户需要检查对应槽位是否具备热插拔功能，通过以下命令可以得知是否支持热插拔：

#lspci –s <bus:dev.function> -vvv | grep –i hotplug

               SltCap: AttnBtn+ PwrCtrl+ MRL- 

               AttnInd+ PwrInd+ HotPlug+ Surprise+

如上述命令返回的消息中包含 Hotplug+和 Surprise+信息，则证明该槽位支持热插拔功能。可以看到，该卡槽还配备电源控制等功能。下面则进一步介绍了PCIe 槽热插拔功能的细节：

检查对应槽位上是否注册了 Hot-plug service，如下信息（通过 dmesg 命令获取）显示了 slot #8 加载了pciehp driver

[9.137143] pciehp 0000:00:03.1:pcie04: Slot #8 AttnBtn+ AttnInd+ PwrInd+ PwrCtrl+ MRL- Interlock- NoCompl- LLActRep+

[10.136681] pciehp 0000:00:03.1:pcie04: service driver pciehp loaded

检查对应槽位是否设置了相关寄存器

获取 slot 的 Capabilities 信息，如下命令返回 Hex 值，bit值为1表示具备相应能力。

其中：bit 1（Power Control），bit 5（Hotplug Surprise），bit 6（Hotplug Capable）。

#setpci -s <bus:dev.function>

CAP_EXP+0x14.b

获取 Slot 控制寄存器信息，确定 bit3（Presence Detect Changed Enable），bit5（Hotplug Interrupt Enable）和 bit12（Data Link Layer State Changed Enable）设置为 1.

#setpci -s <bus:dev.function>CAP_EXP+0x18.w

Presence Detect Changed Enable 位控制槽位在检测到外接设备接入或拔出时是否发送中断。

Data Link Layer State Changed Enable 位控制槽位在检测到链路状态发生变化时是否发送中断。

不建议意外热移除是有道理的！谨慎操作永不为过！

意外热移除（Surprise Hot-plug）是一种比较有风险的操作。即使在测试充分和支持良好的平台上，也会有对系统产生负面影响的风险，比如对有 I/O 访问的设备进行拔盘操作，会使得存储在系统缓存中的 I/O 数据丢失，这种操作一方面触发上层应用处理这类错误，另一方面， Linux 自带的 NVMe 驱动会出现 hung 住等问题。

所以拔盘时，建议优先使用正常热移除(Orderly Hot Removal)，介绍如下：

停止当前和待移除设备相关的进程（如可能访问设备的数据库等）

Umount 与该设备相关的文件系统

向系统发出移除设备信号：

#echo 0 >

/sys/bus/pci/slots/<SSD_SLOT_NUM>/power

SSD_SLOT_NUM 是待移除设备对应的 PCIe 卡槽编号，可通过 lspci 命令获得

等待系统移除设备（可通过 lsblk 等命令查看）后再执行手动拔盘操作

热插拔需要U.2接口PCIe SSD、操作系统、服务器的通力配合，Memblaze为了确保PBlaze5在进行热插拔操作时最大限度的规避风险，对主流操作系统以及服务器做了大量的热插拔测试。这篇文章介绍的基本原理以及热插拔操作的流程等内容之外，还有诸如热插拔操作需要保持一定时间间隔等注意事项。这部分内容我们将在后续的文章进行详细的介绍。