海思NNIE开发（二）：FasterRCNN在海思NNIE平台上的执行流程（一）

海思NNIE开发系列文章：

-----------------------------------------------------------------------------------------------------------------------------------

前文：

本博客将以系列文章讲解FasterRCNN等深度学习网络模型在海思NNIE平台上的执行原理。本篇将讲解NNIE平台上几个存储模型网络参数的几个结构体，以及NNIE分段执行的概念。

正文：

以SAMPLE_SVP_NNIE_FasterRcnn这个sample为例解析海思NNIE模型网络参数。

首先来看以下函数：

s32Ret = SAMPLE_COMM_SVP_NNIE_LoadModel(pcModelName,&s_stFasterRcnnModel);

该函数用于从wk文件中解析出模型的网络参数。我们来看s_stFasterRcnnModel这个参数，它是一个结构体，如下：

typedef struct hiSAMPLE_SVP_NNIE_MODEL_S
{
    SVP_NNIE_MODEL_S    stModel;
    SVP_MEM_INFO_S      stModelBuf;//store Model file
}SAMPLE_SVP_NNIE_MODEL_S;

stModel存储解析出来的模型网络参数，我们来看SVP_NNIE_MODEL_S这个结构体：

/*NNIE model*/
typedef struct hiSVP_NNIE_MODEL_S
{
    SVP_NNIE_RUN_MODE_E     enRunMode;/*枚举类型，网络模型运行模式*/

    HI_U32                  u32TmpBufSize; /*辅助内存大小temp buffer size*/
    HI_U32                  u32NetSegNum;/*网络模型中 NNIE 执行的网络分段数,取值[1,8]*/
    SVP_NNIE_SEG_S          astSeg[SVP_NNIE_MAX_NET_SEG_NUM]/*网络在 NNIE 引擎上执行的段信息*/;
    SVP_NNIE_ROIPOOL_INFO_S astRoiInfo[SVP_NNIE_MAX_ROI_LAYER_NUM]; /*网络模型中 RoiPooling 以及 PsRoiPooling 的信息数组ROIPooling info*/

    SVP_MEM_INFO_S          stBase/*网络其他信息*/;
}SVP_NNIE_MODEL_S;

在Sample_nnie_main这个sample中加入打印语句，输出如下：

enRunModel：为枚举类型，表示网络模型的运行模式，有SVP_NNIE_RUN_MODE_CHIP（只能在Chip上运行），以及SVP_NNIE_RUN_MODE_FUNC_SIM（只能用于PC端功能仿真）两个枚举值。通过以上打印可以看到FasterRCNN网络模型只能在Chip上运行。

u32TempBufSize：为辅助内存大小，以上打印为21094400.

u32NetSegNum：为网络模型中NNIE执行的网络分段数，取值为1~8。这里的分段是指模型执行中可能会分成多段，一些段在NNIE上执行，一些段在CPU或DSP上执行。如下图所示：

这个u32NetSegNum就是指有多少段是在NNIE上执行的，如果一个网络模型全部都是在NNIE上执行，那么这个u32NetSegNum就是1。通过以上打印可知FasterRCNN网络的NNIE执行分为两段。

astSeg[SVP_NNIE_MAX_NET_SEG_NUM]：这个参数是一个结构体数组，SVP_NNIE_MAX_NET_SEG_NUM在hi_nnie.h中定义为8，这个数组表示每一段NNIE网络的各段的具体信息，具体信息有哪些，我们来看SVP_NNIE_SEG_S这个结构体：

/*Segment information*/
typedef struct hiSVP_NNIE_SEG_S
{
    SVP_NNIE_NET_TYPE_E enNetType; /*网络段的类型*/
    HI_U16              u16SrcNum; /*网络段的输入节点数*/
    HI_U16              u16DstNum;/*网络段的输出节点数*/
    HI_U16              u16RoiPoolNum;/*络段中包含的 RoiPooling 以及 PSRoiPooling layer 数*/
    HI_U16              u16MaxStep;/*RNN/LSTM 网络中序列的最大“帧数”*/

    HI_U32              u32InstOffset;
    HI_U32              u32InstLen;

    SVP_NNIE_NODE_S     astSrcNode[SVP_NNIE_MAX_INPUT_NUM]; /*网络段的第 i 个输入节点信息， SVP_NNIE_MAX_INPUT_NUM为16*/
    SVP_NNIE_NODE_S     astDstNode[SVP_NNIE_MAX_OUTPUT_NUM];/*网络段的第 i 个输出节点信息， SVP_NNIE_MAX_OUTPUT_NUM为16*/
    HI_U32              au32RoiIdx[SVP_NNIE_MAX_ROI_LAYER_NUM_OF_SEG]; /*网络段的第 i 个 RoiPooling 或者 PsRoiPooling 在SVP_NNIE_MODEL_S 中 SVP_NNIE_ROIPOOL_INFO_S 数组的下标，SVP_NNIE_MAX_ROI_LAYER_NUM_OF_SEG为2*/
}SVP_NNIE_SEG_S;

enNetType：这个参数枚举类型，如下：

typedef enum hiSVP_NNIE_NET_TYPE_E
{
    SVP_NNIE_NET_TYPE_CNN  = 0x0, /* Non-ROI input cnn net，普通的CNN\DNN网络类型 */
    SVP_NNIE_NET_TYPE_ROI  = 0x1, /* With ROI input cnn net，有RPN层输出框信息的网络类型*/
    SVP_NNIE_NET_TYPE_RECURRENT = 0x2, /* RNN or LSTM net */

    SVP_NNIE_NET_TYPE_BUTT
}SVP_NNIE_NET_TYPE_E;

包含4种类型：SVP_NNIE_NET_TYPE_CNN表示普通的的CNN网络， SVP_NNIE_NET_TYPE_ROI有RPN层输出框信息的网络类型，这里其实就是指Faster RCNN的NNIE模型中的Proposal层，这个层包含RPN输出框信息，且由CPU来执行。SVP_NNIE_NET_TYPE_RECURRENT则表示RNN循环神经网络或者LSTM长短期记忆网络。

u16SrcNum：表示这个段的输入节点数，即这个段网络有多少个输入，也是后面的astSrcNode数组的元素的有效个数

u16DstNum：表示这个段的输出节点数，即这个段网络有多少个输出，也是后面的astDstNode数组的元素的有效个数

astSrcNode与astDstNode：表示这个段的输入和输出节点的具体信息，其类型为SVP_NNIE_NODE_S，如下：

/*Node information*/
typedef struct hiSVP_NNIE_NODE_S
{
    SVP_BLOB_TYPE_E  enType;/*节点的类型*/
    union
    {
        struct
        {
            HI_U32 u32Width; /*节点内存形状的宽*/
            HI_U32 u32Height;/*节点内存形状的高*/
            HI_U32 u32Chn;/*节点内存形状的通道数*/
        }stWhc;
        HI_U32 u32Dim;/*节点内存的向量维度*/
    }unShape;
    HI_U32 u32NodeId;/*节点在网络中的 Id*/
	HI_CHAR szName[SVP_NNIE_NODE_NAME_LEN];/*Report layer bottom name or data layer bottom name*/
}SVP_NNIE_NODE_S;

enType是枚举类型，其类型SVP_BLOB_TYPE_E如下：

/*Blob type*/
typedef enum hiSVP_BLOB_TYPE_E
{
    SVP_BLOB_TYPE_S32       =  0x0,/*Blob 数据元素为 S32 类型*/
    SVP_BLOB_TYPE_U8        =  0x1,/*Blob 数据元素为 U8 类型*/
    /*channel = 3*/
    SVP_BLOB_TYPE_YVU420SP  =  0x2,/*Blob 数据内存排布为 YVU420SP*/
    /*channel = 3*/
    SVP_BLOB_TYPE_YVU422SP  =  0x3,/*Blob 数据内存排布为 YVU422SP*/
    SVP_BLOB_TYPE_VEC_S32   =  0x4,/*Blob 中存储向量，每个元素为 S32 类型*/
    SVP_BLOB_TYPE_SEQ_S32   =  0x5,/*Blob 中存储序列，数据元素为 S32 类型*/
    SVP_BLOB_TYPE_BUTT
}SVP_BLOB_TYPE_E;

通过打印输出SVP_NNIE_MODEL_S结构体中的astSeg，即打印两段NNIE网络信息的输入输出节点信息，如下：

从打印的信息，我们首先看段与节点的类型，这个对于以后的分析有用，因为后面的一些初始化操作会根据不同的类型有不同的操作，如下表：

段	段类型/段类型值	输入/输出	节点名	节点类型/节点类型值
第1段	SVP_NNIE_NET_TYPE_CNN/0	输入	data	SVP_BLOB_TYPE_S32/0
		输出	conv5	SVP_BLOB_TYPE_S32/0
			rpn_cls_score	SVP_BLOB_TYPE_S32/0
			rpn_bbox_pred	SVP_BLOB_TYPE_S32/0
			rpn_cls_prob_reshape	SVP_BLOB_TYPE_S32/0
第2段	SVP_NNIE_NET_TYPE_ROI/1	输入	conv5	SVP_BLOB_TYPE_S32/0
		输出	bbox_pred	SVP_BLOB_TYPE_VEC_S32/4
		输出	cls_prob	SVP_BLOB_TYPE_VEC_S32/4

将以上打印与下面网络图结合，这里的节点名szName，个人的理解是，如果作为输入节点，则显示的是该层的bottom的名字，如果作为输出节点，则显示top的名字。第1段有1个输入节点，即data层的输入。输出节点的数量打印显示是4个输出，而下面的网络图中只有3个输出，即conv5, rpn_bbox_pred, rpn_cls_prob_reshape，打印显示多了一个rpn_cls_score。在RuyiStudio的网络图里rpn_cls_score是在第一段的中间，并非作为输出，为什么会把它当输出呢？玄机就在网络描述文件.prototxt里面，我们来看rpn_cls_score这一层，如下：

layer {
  name: "rpn_cls_score"
  type: "Convolution"
  bottom: "rpn/output"
  top: "rpn_cls_score_report"
  convolution_param {
    num_output: 18   # 2(bg/fg) * 9(anchors)
    kernel_size: 1 pad: 0 stride: 1
    weight_filler { type: "gaussian" std: 0.01 }
    bias_filler { type: "constant" value: 0 }
  }
}

这一层的top输出是rpn_cls_score_report，即rpn_cls_score加了后缀_report。我们打开《HiSVP开发指南》的3.2.7章节，如下：

可以看到，中间层的top加上_report后当作该段的一个输出，因此从打印那里可以看到这一段有rpn_cls_score作为输出。

第2段有1个输入节点，conv5,这里显示的u32NodeId为0，那么这个u32NodeId应该是指该节点在该段中的序号。这个段的输出节点bbox_pred, cls_prob，显示序号为7和9。

这里还有个疑问，不知道这个u32NodeId序号是怎么排的，例如第1段的输出节点conv5，序号为8，但从下图来看，应该是7（relu层应该跟conv5同一个序号）。但是rpn_cls_prob_reshape的序号怎么是19，rpn_bbox_pred的序号为13也对不上。

注：以上网络使用的是以下FasterRCNN网络

夜风里唱

发布了40 篇原创文章 · 获赞 51 · 访问量 5万+

私信关注

海思NNIE开发（二）：FasterRCNN在海思NNIE平台上的执行流程（一）

猜你喜欢