FC-NVMe阅读摘要(一)

首字母缩写

IU     Information Unit

BLS    Basic Link Service

ELS    Extended Link Service

PLOGI   N_Port Login

PRLI      Process Login

FLOGI   Fabric Login

P_BSY     N_Port Busy

LS_ACC  Link Service Accept reply frame

LS_RJT   Link Service Reject reply frame

定义

Data Series

  数据序列。它是构成一个特定命令全部数据传输的NVMe数据信息单元们的集。【注:对应NVMe over Fabrics的SGL数据,这些IU中的数据们称为数据序列】

FLOGI

  Fabric Login,扩展的链路服务。

LBA data

  从NVMe设备上读或向NVMe设备上写的数据。【注:逻辑块地址数据】

metadata

  关于特定LBA数据的上下文的信息。【元数据】

概况

结构与概念

FC是逻辑上的一个点对点串行数据通道。

支持NVMe over FC传输能力的Nx_Ports统称为NVMe_Ports。

FC-2层是一个交付服务,包含信息分组和定义的服务类。

NVMe over FC端口

作为NVM subsystem Port ID,是特定于NVM subsystem的,由NVM subsystem分配。如果多个NVM subsystem使用同一个端口,那么在多个NVM subsystem中使用的这同一个端口的NVM subsystem Port ID可能相同也可能不同。

NVMe over FC连接

NVMe over FC连接是对NVMe controller上抽象的一个SQ和CQ,这NVMe over FC连接可以是Admin队列也可以是一个I/O队列。

NVMe管理队列是在创建关联NVMe_LS请求时同时创建的。创建关联NVMe_LS请求指定了Admin提交队列的大小,也是Amin完成队列的大小。

NVMe的I/O队列也是由NVMe over Fabrics Connect命令创建。

First burst

在NVMe_XFER_RDY IU之前不能接收和处理NVMe_DATA IU。

按顺序交付和行为

4.7.1 概况

NVMe_Ports和Fabrics必须提供在一个Exchange中按顺序交付帧。

一些从initiator发的NVMe命令要求按顺序处理(例如fused操作)。为了容许这些命令按发送的顺序被处理,使用了Command Sequence Number。

对于NVMe应答,所有NVMe_ERSP信息单元应答被要求按它们发送的顺序来处理。为了容许NVMe_ERSP信息单元按顺序处理,也是用了Command Sequence Number。

没有顺序要求的NVMe应答信息单元,必须收到后尽快处理。对于应答,CQE必须按照第4.8.2章节中指定的那样生成。

4.7.2 命令序号(CSN)

命令序号是一个4字节无符号整数,从0开始,并且必须按照每个命令递增1。每个NVMe连接维护一个独立的递增计数器。计数达到最大表示值后绕回到0。以下是CSN的使用和判断规则:

a)CSN必须对每个NVMe连接的第一个NVMe命令信息单元从0开始计数,并按1递增;

b)CSN增长到最大数后绕回到0;

c)initiator的NVMe_Port不能在第一个命令提交完成前再使用相同的CSN发送:包括NVMe_XFER_RDY信息单元、NVMe_DATA信息单元的第一个数据帧、NVMe_RSP/NVMe_ERSP信息单元、ABTS。

d)target NVMe_Port必须使用CSN排序命令。

4.7.3 应答序号

4.11 数据传输

4.11.1 概况

NVMe over Fabrics指定了两种数据传输类型:

a)in-capsule数据

b)SGL数据

In-capsule数据是指数据传输在capsule里边。SGL数据时内存范围列表指定的数据。所有这两种数据传输对于NVMe over FC来说都必须转换成数据序列【Data Series】传输。为了在NVMe over FC上对应NVMe over Fabrics数据传输,指定了如下三种传输规则:

a)in-capsule数据;

b)关于写的SGL数据;

c)关于读的SGL数据。

4.11.2 in-capsule数据

in-capsule数据在数据序列中传输。对于数据和元数据,capsule包含指向数据序列偏移位置的指针。指针格式在NVMe中指定的。

3.11.3 SGL数据

4.11.3.1 概况

NVMe over Fabrics定义了在Fabric上传输SGL的机制,FC不能在Fabric上发送SGL(例如,需要RDMA机制支持),因此SGL必须转换成Data Series中的数据在FC网络上发送。

4.11.3.2 SGL映射

NVMe SGL是一个内存范围列表一边接收NVMe controller把它们聚集起来,为了能通过NVMe over FC传输:

a)写时,SGL指针指向的数据必须重新放置到Data Series中;

b)读时,必须让NVMe controller把数据重新放入Data Series中;

c)对于既读又写的情况,SQE中的SGL数据字段必须被重新放置。

4.11.3.3 SGL entry格式

为了在SQE中传输SGL,应该:

a)SGL Descriptor Type字段必须设置为0;

b)SGL Descriptor SubType字段必须设置为0;

c)SGL Data Blocak描述符的Address字段必须设置为0;

d)SGL Data Block描述的Length字段必须包含Data Series中数据的长度。

4.12 NVMe over FC功能的Discovery

一些NVMe over FC功能要求target端NVMe_Port和initiator端NVMe_Port达成共识写上一致的使用。下边Table 2提供了每个NVMe over FC功能的Discovery处理参考。

4.13 NVMe over FC的应用以及FC-FS-5和FC-LS-3行为

附录 C  NVMe over FC初始化和设备发现

C.1 NVMe over FC设备发现步骤

C.1.1 发起端。。

以下步骤可以被发起端NVMe_Port用于发现交换网络拓扑中的NVMe over FC设备。

依赖于特定配置和管理需求,除了步骤1到3,其他任何步骤可以被省略或可以被本标准之外的动作执行。

1)执行Fabric Login;

2)使用Name Server登陆;

3)在Name Server上注册信息:

  a)FC-4 类型对象(参见第7.2章节);

  b)FC-4特性对象(参见第7.3章节)。

4)向Fabric Controller注册State Change Notification(参见FC-LS-3)

5)向Name Server下发一个GID_FF查询,含带Domain_ID Scope和Area_ID Scope字段设置成0,FC-4 Feature Bits字段设置为0x04(即:支持Discovery Service),Type code字段设置为0x28(即:NVMe over FC)。这个查询获得一个支持NVMe over FC设备的Port ID列表,以及Discovery Service。

6)对于GID_FF在接受CT_IU中返回的支持Type 0x28和FC-4 Feature Bits为0x04所有N_Port ID的每个Port ID:

  i)NVMe层启动一个与NVMe Discovery Service的会话:

    1)发起端NVMe_Port确保有一个与FC target NVMe_Port的login。注意:如果initiator端NVMe_Port和target端NVMe_Port之间已经有了一个活动的login,那么一下步骤可以跳过:

      i)发送PLOGI;

      ii)发送PRLI,Type字段设置为0x28。

    2)FC-NVMe层创建一个关联并初始化Admin Queue连接:

      i)发送Create Association NVMe_LS到Discovery Service子系统。

    3)NVMe层通过新创建的传输层Admin Queue连接下发NVMe Connect命令。Connect命令用于创建Admin Queue。

      i)Connect命令作为写操作类型。

    4)NVMe层可以通过Admin Queue连接请求更多的NVMe或Fabric命令去处理。其他命令可以是执行NVMe Fabrics认证或获取/设置属性配置新创建的NVMe controller。

      i)命令为无数据,读或写操作类。

    5)这个NVMe Discovery Service无IO队列被创建。

    6)NVMe层下发Get Log Page命令,Log Id设置为0x70,从Discovery Service读取Discovery Log Entries。

      i)命令为读操作类。

    7)NVMe层确定不需要再与Discovery Service进一步交互就可以使用FC-NVMe终止服务。

      i)发送NVMe_Disconnect LS到Discovery Service。在LS参数里表明终止关联。

      ii)FC-NVMe target接收LS并生成LS应答。

      iii)传输层关联和所有相关连接被终止。

      iv)如果这是initiator NVMe_Port与target NVMe_Port之间仅有的最后一个关联,login可能被终止。

        1)发送LOGO到FC-NVMe target。

7)向Name Server下发一个GID_FF查询,含带Domain_ID Scope和Area_ID Scope字段设置成0,FC-4 Feature Bits字段设置为0x01(即:支持的NVMe over FC target功能),Type code字段设置为0x28(即:NVMe over FC)。这个查询获得一个支持NVMe over FC协议设备的Port ID列表,以及支持的NVMe over Fabrics Target Port Function;

8)操作期间,如果NVMe层选择与一个在Discovery Log记录中认定的某个NVMe存储子系统通信,NVMe层使用FC-NVMe层与NVMe subsystem建立会话;

  i)

9)

猜你喜欢

转载自www.cnblogs.com/JamesLi/p/11589862.html
今日推荐