一
深度学习十周年
百度发展历程
目录
人工智能、机器学习和深度学习的关系
教材
深度学习是趋势
曾经的智能
深度学习带动的第三次AI浪潮
深度学习技术多，掌握最本质的东西，举一反三
首选整体上掌握本质，建立全局观
然后才结合定位把握重点
AI架构师构建自己的能力三角形，业务，AI算法，工程落地
课程侧重点
二
深度学习的定义
机器学习是基础
类别人的学习，本质是一样的
有监督学习，模型空间，通过数据选择最优参数
误差来自两方面，偏差和方差，过拟合是由于方差引起的
传统机器学习SVM，引入泛华性，模型》损失函数》求解
广义线性分类器，都是统一的，李宏毅老师课程讲解的很详细
学术上研究，模型结构和算法函数，有些研究模型假设，有些直接找合适的损失函数
基于迭代的最优化解
类别思维，生物神经元到神经网络
感知器求解，深度感知器统一几个损失函数，在机器学习体系是统一的
深层网络，可以不断堆叠，相比机器学习一个确定的表达，这个可扩展性更强
通用训练方法，链式求导法则
感知器到深度学习，曲折经历
总结
自动学习特征
大数据，端到端训练
多模套融合
端到端训练
小结
三
深度学习
循环
历史知道当下
原因
大数据和大算力导致深度学习的兴起，随着技术的发展
变化
新技术突破
NLP-CV
训练机制，自监督训练
更多数据
文心产业级大模型
提示的机制
对比
原理
强化学习
总结
四
流程
架构流程
技术抽象举例
视觉
堆叠
RNN
transformer
语音
推荐排序
总结
开发方式
本质性变化
自学习
优化
3.0直接写代码，根据提示
流程机制，机器学习工作流
对比
特性
全景图
统一的硬件适配
一体化
更多的场景应用
五
未来发展，特点和局限
结合
科学计算，蛋白质结果预测
偏微分方差求解
全景图
技术流派，符号主义：只是图谱，连接主义：深度学习，行为注意：强化学习，就跟心理学差不多
通用人工智能
总结
