【学习整理】深度学习相关知识点2

1.CLS

CLS就是classification的意思,可以理解为用于下游的分类任务。它是一个能够代表整个文本语义的特征向量,即代表整个语句的标签,代表该语句是什么含义,而不仅仅代表一个单词的含义,取出来就可以直接用于分类了。

2.Transformer中的token

class token、patch token,在NLP中将每一个单词叫token,将标注句子语义的叫CLS,在CV中就是把图像切割成不重叠的patch序列,其实就是token。

3.FLOPs

FLOPs是指“每秒钟浮点运算次数(Floating Point Operations Per Second)”,用于衡量计算机、计算设备或者深度学习模型的计算性能。它是指在单位时间内能够进行的浮点运算的次数,通常用于评估计算机或者模型的速度和效率。
在深度学习模型中,FLOPs通常用来衡量模型的计算复杂度。一般来说,FLOPs越小,模型越轻量化,对于移动设备等嵌入式场景更加适用。但是,FLOPs过小也可能导致模型的性能下降。相反,FLOPs过大则会增加计算成本,降低训练和推理速度。因此,需要根据具体场景和需求来选择合适的模型和参数。
FLOPs的单位是亿次浮点运算(Giga Floating Point Operations,简写为GFLOPs)或者万亿次浮点运算(Tera Floating Point Operations,简写为TFLOPs)。

4. mAP

mAP是平均精度均值的缩写,是用于评估目标检测模型的指标。它是不同召回率下精度值的平均值。精度值是真正例与预测正例总数的比率。召回率是真正例与实际正例总数的比率。高的mAP得分表示模型能够准确地检测到具有高精度和召回率的对象。

5. COCO maskAP

COCO maskAP是COCO数据集中用于评估实例分割模型性能的指标之一。maskAP是指平均精度(Average Precision,AP)的一种变体,它是在实例分割任务中计算的。maskAP的计算方式与传统的AP计算方式类似,但是它考虑了分割掩码的重叠情况。具体来说,maskAP会根据不同的IoU阈值(通常是0.5、0.75和0.95)计算AP值,然后将这些AP值取平均作为最终的maskAP值。在COCO数据集中,maskAP是评估实例分割模型性能的重要指标之一。

6. 细粒度和粗粒度

在深度学习中,通常使用卷积神经网络(CNN)来提取图像特征,而CNN中的卷积层可以看作是对图像的不同层次的特征提取。因此,可以通过调整CNN中的卷积层数和卷积核大小来控制不同层次的特征表示。在实际应用中,可以通过使用不同的CNN架构和调整不同的超参数来得到不同层次的特征表示。一般来说,细粒度特征表示需要更多的卷积层和更小的卷积核,以提取更多的细节和局部信息,而粗粒度特征表示则需要更少的卷积层和更大的卷积核,以提取更少的细节和局部信息。

7. feature level

在计算机视觉中,特征层级(feature level)通常用于表示不同层次的特征表示。具体来说,特征层级可以包括不同的特征图、不同的卷积层、不同的网络层等。在深度学习中,通常使用卷积神经网络(CNN)来提取图像特征,而CNN中的卷积层可以看作是对图像的不同层次的特征提取。因此,可以通过调整CNN中的卷积层数和卷积核大小来控制不同层次的特征表示。相同的特征层级表明经过了相同数量的卷积,但是卷积核不一定相同。

8. 超分辨率技术

超分辨率是计算机视觉领域的一个重要研究方向,他的目标是将低分辨率图像转换为高分辨率图像。超分辨率技术可以应用于多个领域,例如图像处理、视频处理、医学影像等。在图像处理领域,超分辨率技术可以用于提高图像的清晰度和细节,从而提高图像的质量和可用性。在视频处理领域,超分辨率技术可以用于提高视频的清晰度和流畅度,从而提高视频的观看体验。在医学影像领域,超分辨率技术可以用于提高医学影像的分辨率和清晰度,从而提高医学诊断的准确性和可靠性。
在这里插入图片描述
左图为原始图像,右图为经过AI技术修复后的高分辨率图像。
现有主流的图像超分辨率的方法通常可以分为2种:基于图像插值和基于深度学习的方法。
可以参考这篇文章了解更多超分辨率技术:3分钟带你读懂《超分辨率技术》

9. 跨层Attention

跨层attention(Cross-layer Attention)是一种在Transformer模型中使用的注意力机制,它可以帮助模型在不同层次的特征表示之间进行信息交互和融合。具体来说,跨层attention可以将不同层次的特征表示作为输入,然后通过计算注意力权重来获得不同层次之间的关联性,从而实现特征的交互和融合。在实际应用中,跨层attention可以用于多个任务,例如自然语言处理、计算机视觉等。

猜你喜欢

转载自blog.csdn.net/qq_45746168/article/details/129662488