深度学习模型组件系列一:搭建深度模型的必备要素总结

深度学习应用:

计算机视觉、自然语言处理、语音识别等领域。【建议选择某一方向,再学习相关模型组件]

前沿技术包括生成对抗网络、自注意力机制、跨模态学习等。【这是论文创新点的来源】

默认学习前已掌握:

1.pytorch深度学习环境的配置

2.运行简单深度学习代码的基础

学习目标:在前人模型的基础上,修改、搭建自己的模型

一、深度学习模型宏观组成

1.数据预处理

2.设计模型

3.训练技巧

 二、深度学习模型的精简化掌握知识点要素

1.深度学习是什么?

让机器用深度学习模型学习知识,进而解决某种任务。所以学习深度学习核心是学习模型组件,学习如何修改、搭建模型。

2.由此引入下一个问题,学习模型的哪些核心要素?换句话说,解决不同的任务,从模型角度来讲什么最重要?

        特征抽取器的能力。尤其是深度学习流行开来后,这一点更凸显出来。因为深度学习最大的优点是“端到端(end to end)”选择一个好的特征抽取器,选择一个好的特征抽取器,选择一个好的特征抽取器,喂给它大量的训练数据,设定好优化目标(loss function),告诉它你想让它干嘛……..然后你觉得你啥也不用干等结果就行了是吧?那你是我见过的整个宇宙中最乐观的人…….你大量时间其实是用在调参上…….

        关键词:好的训练数据、特征抽取器、优化目标(任务目标)、调参技巧

        知识框架将由以上的关键词展开:

        1.训练数据需要的知识要素

        数据预处理(Data Preprocessing):数据预处理是深度学习模型训练的前置步骤,它包括数据清洗、数据归一化、数据增强等

        2.特征提取器类型【特征提取由哪些小模块构成?------涉及卷积、池化、上采样等小知识点】

        a.RNN

        b.CNN

        c.transformerchatgpt关键组件,后文将专题介绍

         ......

        例如:

        模型大组件---神经网络层(Neural Network Layers):神经网络层是深度学习模型的核心组件之一,它可以实现数据的特征提取和转换。常用的神经网络层包括卷积层、池化层、全连接层等。

        模型小组件---激活函数(Activation Functions):激活函数是神经网络层中的一个重要组件,它能够将神经元的输入转换为输出。常用的激活函数包括sigmoid、tanh、ReLU等。

         3.优化目标的知识点要素【后文将专题介绍】

         损失函数(Loss Functions):损失函数是深度学习模型训练的重要组件,它用于衡量模型输出和真实标签之间的误差。常用的损失函数包括均方误差(Mean Squared Error)、交叉熵(Cross Entropy)等。

         优化算法(Optimization Algorithms):优化算法用于更新模型参数,以最小化损失函数。常用的优化算法包括随机梯度下降(Stochastic Gradient Descent)、Adam等。

         4.调参技巧的知识点要素

         正则化技术(Regularization Techniques):正则化技术用于避免模型过拟合,常用的正则化技术包括L1、L2正则化、dropout等。

         批处理(Batch Normalization):批处理是一种加速模型训练的技术,它能够对输入数据进行归一化处理,使得模型训练更加稳定

猜你喜欢

转载自blog.csdn.net/weixin_45888522/article/details/129955834