VTM10.0代码学习2：NALU的解码

此系列是为了记录自己学习VTM10.0的过程和锻炼表达能力，主要是从解码端进行入手。由于本人水平有限，出现的错误恳请大家指正，欢迎与大家一起交流进步。

1. m_cDecLib.decode

接着本系列的上一篇博客继续讲，之前的2.1.1小节讲到函数m_cDecLib.decode是调用解码器类进行NALU解码。NALU分两大类VCL和non-VCL类型，这两种类型下面又有很多细分，相应的解码也要把不同类型的NALU分开解码。

  bool ret;
  // ignore all NAL units of layers > 0

  //将NALU的头信息存入顺序容器
  AccessUnitInfo auInfo;
  auInfo.m_nalUnitType = nalu.m_nalUnitType;
  auInfo.m_nuhLayerId = nalu.m_nuhLayerId;
  auInfo.m_temporalId = nalu.m_temporalId;
  m_accessUnitNals.push_back(auInfo);
  m_pictureUnitNals.push_back( nalu.m_nalUnitType );

  switch (nalu.m_nalUnitType)//根据NALU的类型分别解码
  {
    
    
    case NAL_UNIT_VPS:
      xDecodeVPS( nalu );//解码VPS 参考JVET-S2001 7.3.2.3 P83
      m_vps->m_targetOlsIdx = iTargetOlsIdx;//设置m_vps的目标输出层集的索引
      return false;
    case NAL_UNIT_DCI:
      xDecodeDCI( nalu );//解码DCI 参考JVET-S2001 7.3.2.1 P83
      return false;
    case NAL_UNIT_SPS:
      xDecodeSPS( nalu );//解码SPS 参考JVET-S2001 7.3.2.4 P86
      return false;

    case NAL_UNIT_PPS:
      xDecodePPS( nalu );//解码PPS 参考JVET-S2001 7.3.2.5 P91
      return false;

    case NAL_UNIT_PH:
      xDecodePicHeader(nalu);//解码picture header,如果解码过程处于一帧中的第一个slice，那么返回false。参考JVET-S2001 7.3.2.7 P95
      return !m_bFirstSliceInPicture;

    case NAL_UNIT_PREFIX_APS:
    case NAL_UNIT_SUFFIX_APS:
      xDecodeAPS(nalu);//解码APS 参考JVET-S2001 7.3.2.6 P94
      return false;

    case NAL_UNIT_CODED_SLICE_TRAIL:
    case NAL_UNIT_CODED_SLICE_STSA:
    case NAL_UNIT_CODED_SLICE_IDR_W_RADL:
    case NAL_UNIT_CODED_SLICE_IDR_N_LP:
    case NAL_UNIT_CODED_SLICE_CRA:
    case NAL_UNIT_CODED_SLICE_GDR:
    case NAL_UNIT_CODED_SLICE_RADL:
    case NAL_UNIT_CODED_SLICE_RASL:
      ret = xDecodeSlice(nalu, iSkipFrame, iPOCLastDisplay);//解码VCL类型的NALU 参考JVET-S2001 7.3.2.14 P99
      return ret;

    case NAL_UNIT_EOS://遇到EOS，重置解码器类中的一些属性
      m_associatedIRAPType[nalu.m_nuhLayerId] = NAL_UNIT_INVALID;
      m_pocCRA[nalu.m_nuhLayerId] = MAX_INT;
      m_prevGDRInSameLayerPOC[nalu.m_nuhLayerId] = MAX_INT;
      std::fill_n(m_prevGDRSubpicPOC[nalu.m_nuhLayerId], MAX_NUM_SUB_PICS, MAX_INT);
      memset(m_prevIRAPSubpicPOC[nalu.m_nuhLayerId], 0, sizeof(int)*MAX_NUM_SUB_PICS);
      memset(m_prevIRAPSubpicDecOrderNo[nalu.m_nuhLayerId], 0, sizeof(int)*MAX_NUM_SUB_PICS);
      std::fill_n(m_prevIRAPSubpicType[nalu.m_nuhLayerId], MAX_NUM_SUB_PICS, NAL_UNIT_INVALID);
      m_pocRandomAccess = MAX_INT;
      m_prevLayerID = MAX_INT;
      m_prevPOC = MAX_INT;
      m_prevSliceSkipped = false;
      m_skippedPOC = 0;
      m_accessUnitEos[nalu.m_nuhLayerId] = true;
#if JVET_S0155_EOS_NALU_CHECK
      m_prevEOS[nalu.m_nuhLayerId] = true;
#endif
      return false;

    case NAL_UNIT_ACCESS_UNIT_DELIMITER://遇到AU分隔符
      {
    
    
        AUDReader audReader;
        uint32_t picType;//参考JVET-S2001 aud_pic_type P179
        audReader.parseAccessUnitDelimiter(&(nalu.getBitstream()), m_audIrapOrGdrAuFlag, picType);//参考JVET-S2001 7.3.2.10 P53
        return !m_bFirstSliceInPicture;
      }

    case NAL_UNIT_EOB://遇到EOB(end of bitstream)
      return false;
          
    //......
  }

上面就是m_cDecLib.decode的内部，首先有个ret变量，暂时没弄清起啥作用。

然后就是存储NALU的头信息。

最后就是switch语句，判断NALU的类型，调用相对应的函数。上面省略SEI和保留或未定义NALU类型的情况，除了调用xDecodeSlice的那几个case，其余皆是non-VCL类型，具体参考JVET-s2001哪一部分也都在注释里。xDecodeSlice也就是接下来要讲的函数。

2. xDecodeSlice

xDecodeSlice就是解码slice segement的函数。slice segment所在帧的类型对应的就是NALU的类型。先讲解一下两个传入参数：

• iSkipFrame：要跳过解码的帧数
• iPOCLastDisplay:所有要解码帧中POC的最小值

这里再讲一下我对于slice和slice segment的理解，slice segment是NALU传输的单位。1个独立的slice segment接着多个非独立的slice segment组成slice。应该是只有独立的slice segment要进行slice header的解码。(这里不确定，大家看看就好)

xDecodeSlice里面主要分成两部分，第一部分是对m_apcSlicePilot的操作，第二部分是对pcSlice的操作。由于第一部分我看的比较懵，第二部分又比较重要，所以第一部分就略微提一下。

2.1 m_apcSlicePilot

  //m_apcSlicePilot用于解码slice的类指针，将picture header信息传入并初始化
  m_apcSlicePilot->setPicHeader( &m_picHeader );
  m_apcSlicePilot->initSlice(); // the slice pilot is an object to prepare for a new slice
                                // it is not associated with picture, sps or pps structures.

  Picture* scaledRefPic[MAX_NUM_REF] = {
    
    };//存有缩放参考帧的指针数组

  //分支1
  if (m_bFirstSliceInPicture)
  {
    
    
    m_uiSliceSegmentIdx = 0;//一帧内slice segment的index
  }
  else
  {
    
    
    m_apcSlicePilot->copySliceInfo( m_pcPic->slices[m_uiSliceSegmentIdx-1] );//复制上一个slice segment的信息
  }

  //将NALU的头信息传入m_apcSlicePilot中
  m_apcSlicePilot->setNalUnitType(nalu.m_nalUnitType);
  m_apcSlicePilot->setNalUnitLayerId(nalu.m_nuhLayerId);
  m_apcSlicePilot->setTLayer(nalu.m_temporalId);

  m_apcSlicePilot->m_ccAlfFilterParam = m_cALF.getCcAlfFilterParam();
  m_HLSReader.setBitstream( &nalu.getBitstream() );
  m_HLSReader.parseSliceHeader( m_apcSlicePilot, &m_picHeader, &m_parameterSetManager, m_prevTid0POC, m_prevPicPOC );//解码slice header 参考JVET-S2001 7.3.7 P107

setPicHeader():向m_apcSlicePilot传入picture header的信息

initSlice():m_apcSlicePilot的初始化过程

scaledRefPic：这里面存放的就是缩放参考帧列表

分支1：如果解码过程处于一帧的第一个slice，则需要将m_uiSliceSegmentIdx置为零，这个就是slicesegment的Index。否则就将上一个slice segment的信息拷贝到m_apcSlicePilot中。

三个set函数：将NALU的头信息传入m_apcSlicePilot中

m_ccAlfFilterParam：存着上一个slice segment的ALF参数

setBitstream()和parseSliceHeader():第一个就是设置m_HLSReader的比特流来源，parseSliceHeader就开始解码slice header。

之后的一些处理就比较懵逼了，大部分都是帧级的处理，例如当前帧是不是被跳过解码的。

  if (isRandomAccessSkipPicture(iSkipFrame, iPOCLastDisplay))
  {
    
    
    m_prevSliceSkipped = true;                        //设置解码器类的表示前一个slice跳过解码的flag为true
    m_skippedPOC = m_apcSlicePilot->getPOC();         //传入被跳过解码slice所在帧的POC
    return false;
  }

2.2 m_pcPic

下面的内容多而杂，而且都是预备工作，采取分段讲解的方式

  xActivateParameterSets( nalu );//设置一下各种parameter sets的语法元素

  m_firstSliceInSequence[nalu.m_nuhLayerId] = false;
  m_firstSliceInBitstream  = false;

  Slice* pcSlice = m_pcPic->slices[m_uiSliceSegmentIdx];//取出图像类存有的slice segement
#if JVET_R0270
  m_pcPic->numSlices = m_uiSliceSegmentIdx + 1;         //slice segement的数量
#endif
  pcSlice->setPic( m_pcPic );                           //设置slice所在picture的指针
  m_pcPic->poc         = pcSlice->getPOC();
  m_pcPic->referenced  = true;                          //此帧是否被参考
  m_pcPic->temporalId  = nalu.m_temporalId;
  m_pcPic->layerId     = nalu.m_nuhLayerId;
  m_pcPic->subLayerNonReferencePictureDueToSTSA = false;//是否参考同一时域层的帧？

xActivateParameterSets():在m_pcPic中设置parameter sets相关的属性，里面还有将m_apcSlicePilot赋值给m_pcPic的操作，还是值得仔细看看(虽然我没看)。

    //下面就是将m_apcSlicePilot赋值给m_pcPic的操作
    m_pcPic->allocateNewSlice();
    m_apcSlicePilot = m_pcPic->swapSliceObject(m_apcSlicePilot, m_uiSliceSegmentIdx);

pcSlice：取出图像类中相对应要处理的slice segment

numSlices：图像类中slice segment的数量

setPic():设置slice类所在的的picture

下面都是对图像类的操作，一般只有当解码过程到一帧中的第一个VCL类型NALU这些改动才有意义

  if (m_bFirstSliceInPicture)
  {
    
    
    m_pcPic->setDecodingOrderNumber(m_decodingOrderCounter);//设置帧的解码顺序
    m_decodingOrderCounter++;
    m_pcPic->setPictureType(nalu.m_nalUnitType);
      
    // store sub-picture numbers, sizes, and locations with a picture
	// 有关subpicture的操作
    pcSlice->getPic()->subPictures.clear();

    for( int subPicIdx = 0; subPicIdx < sps->getNumSubPics(); subPicIdx++ )
    {
    
    
      pcSlice->getPic()->subPictures.push_back( pps->getSubPic( subPicIdx ) );
    }
      
    pcSlice->getPic()->numSlices = pps->getNumSlicesInPic();
    pcSlice->getPic()->sliceSubpicIdx.clear();
  }

这个分支只有当解码过程处于一帧中的第一个slice才会触发。

前三句就是设置图像类的解码顺序和图像类型

先清空一下图像类中存有的subPictures的信息，再从PPS重新获得(subPictures.clear()和for循环)

numSlices：设置图像类的slcie数量

sliceSubpicIdx.clear()：清空一下subPictures的Index

  pcSlice->getPic()->sliceSubpicIdx.push_back(pps->getSubPicIdxFromSubPicId(pcSlice->getSliceSubPicId()));//从slice中获subpictureId转为subpictureIndex，存入slice所在帧类的容器sliceSubpicIdx
  pcSlice->constructRefPicList(m_cListPic);                                                               //构建参考帧列表
  pcSlice->setPrevGDRSubpicPOC(m_prevGDRSubpicPOC[nalu.m_nuhLayerId][currSubPicIdx]);
  pcSlice->setPrevIRAPSubpicPOC(m_prevIRAPSubpicPOC[nalu.m_nuhLayerId][currSubPicIdx]);
  pcSlice->setPrevIRAPSubpicType(m_prevIRAPSubpicType[nalu.m_nuhLayerId][currSubPicIdx]);
  pcSlice->scaleRefPicList( scaledRefPic, m_pcPic->cs->picHeader, m_parameterSetManager.getAPSs(), m_picHeader.getLmcsAPS(), m_picHeader.getScalingListAPS(), true );//构造缩放的参考帧列表，里面注释真正的缩放过程没看，应该是编码处用到的。传入的scaledRefPic貌似也没啥改动，就清空了一下

sliceSubpicIdx.push_back():存储每个slice所在的subPicture Index信息

constructRefPicList()：构建参考帧列表，值得看一看

下面连续三个set，比较懵，暂时不解释。

scaleRefPicList():构建缩放的参考帧列表，也是值得看一看

    if (!pcSlice->isIntra())//如果不是I帧
    {
    
    
      bool bLowDelay = true;//是否是LowDelay模式
      int  iCurrPOC  = pcSlice->getPOC();//当前slice所在帧的POC
      int iRefIdx = 0;//参考帧的Index，用来循环

	  //下面两个循环就是判断此slice所在帧的参考帧的poc顺序是不是在当前poc之前，如果之后就不是LowDelay模式
      for (iRefIdx = 0; iRefIdx < pcSlice->getNumRefIdx(REF_PIC_LIST_0) && bLowDelay; iRefIdx++)
      {
    
    
        if ( pcSlice->getRefPic(REF_PIC_LIST_0, iRefIdx)->getPOC() > iCurrPOC )
        {
    
    
          bLowDelay = false;
        }
      }
      if (pcSlice->isInterB())
      {
    
    
        for (iRefIdx = 0; iRefIdx < pcSlice->getNumRefIdx(REF_PIC_LIST_1) && bLowDelay; iRefIdx++)
        {
    
    
          if ( pcSlice->getRefPic(REF_PIC_LIST_1, iRefIdx)->getPOC() > iCurrPOC )
          {
    
    
            bLowDelay = false;
          }
        }
      }

      pcSlice->setCheckLDC(bLowDelay);//传入slice类中
    }

	//如果开启SMVD模式，当然此时就不可能LowDelay，当然此时也必须要有MVD的传输
    if (pcSlice->getSPS()->getUseSMVD() && pcSlice->getCheckLDC() == false
      && pcSlice->getPicHeader()->getMvdL1ZeroFlag() == false
      )
    {
    
    
    }

第一个if里面主要是设置slice类到底是不是LowDelay，判断条件也简单，大家看代码吧。

第二个if与SMVD模式有关。代码比较长就不贴出来了，逻辑也不难。

    pcSlice->setRefPOCList();//设置一下slice类中的m_aiRefPOCList属性，表示对应参考帧的POC

	//存储NALU一些信息
    NalUnitInfo naluInfo;
    naluInfo.m_nalUnitType = nalu.m_nalUnitType;
    naluInfo.m_nuhLayerId = nalu.m_nuhLayerId;
    naluInfo.m_firstCTUinSlice = pcSlice->getFirstCtuRsAddrInSlice();
    naluInfo.m_POC = pcSlice->getPOC();
    m_nalUnitInfo[naluInfo.m_nuhLayerId].push_back(naluInfo);

  Quant *quant = m_cTrQuant.getQuant();//获得量化变换相关的类
  if (pcSlice->getExplicitScalingListUsed())//如果使用显性缩放列表
  {
    
    
  }
  else
  {
    
    
  }

  if (pcSlice->getSPS()->getUseLmcs())//如果使用Lmcs
  {
    
    
  }
  else
  {
    
    
  }

setRefPOCList():设置一下slice类中的m_aiRefPOCList属性

接下来会存储NALU的一些信息

quant：这个是与量化变换相关的类实例，与接下里的显性缩放列表有关

接下来两个if，一个与显性缩放列表有关，另一个与Lmcs有关，都是从APS中得到的，等看到相关的再仔细看吧

  //  Decode a picture
  m_cSliceDecoder.decompressSlice( pcSlice, &( nalu.getBitstream() ), ( m_pcPic->poc == getDebugPOC() ? getDebugCTU() : -1 ) );//调用slice解码器解码

  m_bFirstSliceInPicture = false;//标识不再是一帧中的第一个slice
  m_uiSliceSegmentIdx++;//slice segment的Index加一

  pcSlice->freeScaledRefPicList( scaledRefPic );//清空缩放参考帧列表

m_cSliceDecoder.decompressSlice():调用slice解码器进行解码，也是本篇博客最重要的函数，详细的讲解就会在下一篇中。

m_uiSliceSegmentIdx：slice segment的Index自然也要记得加一

freeScaledRefPicList：清空缩放的参考帧列表