深度学习应用:
计算机视觉、自然语言处理、语音识别等领域。【建议选择某一方向,再学习相关模型组件]
前沿技术包括生成对抗网络、自注意力机制、跨模态学习等。【这是论文创新点的来源】
默认学习前已掌握:
1.pytorch深度学习环境的配置
2.运行简单深度学习代码的基础
学习目标:在前人模型的基础上,修改、搭建自己的模型
一、深度学习模型宏观组成
1.数据预处理
2.设计模型
3.训练技巧
二、深度学习模型的精简化掌握知识点要素
1.深度学习是什么?
让机器用深度学习模型学习知识,进而解决某种任务。所以学习深度学习核心是学习模型组件,学习如何修改、搭建模型。
2.由此引入下一个问题,学习模型的哪些核心要素?换句话说,解决不同的任务,从模型角度来讲什么最重要?
特征抽取器的能力。尤其是深度学习流行开来后,这一点更凸显出来。因为深度学习最大的优点是“端到端(end to end)”选择一个好的特征抽取器,选择一个好的特征抽取器,选择一个好的特征抽取器,喂给它大量的训练数据,设定好优化目标(loss function),告诉它你想让它干嘛……..然后你觉得你啥也不用干等结果就行了是吧?那你是我见过的整个宇宙中最乐观的人…….你大量时间其实是用在调参上…….
关键词:好的训练数据、特征抽取器、优化目标(任务目标)、调参技巧
知识框架将由以上的关键词展开:
1.训练数据需要的知识要素
数据预处理(Data Preprocessing):数据预处理是深度学习模型训练的前置步骤,它包括数据清洗、数据归一化、数据增强等
2.特征提取器类型【特征提取由哪些小模块构成?------涉及卷积、池化、上采样等小知识点】
a.RNN
b.CNN
c.transformer【chatgpt关键组件,后文将专题介绍】
......
例如:
模型大组件---神经网络层(Neural Network Layers):神经网络层是深度学习模型的核心组件之一,它可以实现数据的特征提取和转换。常用的神经网络层包括卷积层、池化层、全连接层等。
模型小组件---激活函数(Activation Functions):激活函数是神经网络层中的一个重要组件,它能够将神经元的输入转换为输出。常用的激活函数包括sigmoid、tanh、ReLU等。
3.优化目标的知识点要素【后文将专题介绍】
损失函数(Loss Functions):损失函数是深度学习模型训练的重要组件,它用于衡量模型输出和真实标签之间的误差。常用的损失函数包括均方误差(Mean Squared Error)、交叉熵(Cross Entropy)等。
优化算法(Optimization Algorithms):优化算法用于更新模型参数,以最小化损失函数。常用的优化算法包括随机梯度下降(Stochastic Gradient Descent)、Adam等。
4.调参技巧的知识点要素
正则化技术(Regularization Techniques):正则化技术用于避免模型过拟合,常用的正则化技术包括L1、L2正则化、dropout等。
批处理(Batch Normalization):批处理是一种加速模型训练的技术,它能够对输入数据进行归一化处理,使得模型训练更加稳定