第一周：深度学习引言
1.1 深度学习引言
改变传统互联网业务：网络搜索，广告。
做的比较好：读取x光，个性化教育，精准化农业
cousera课程
第二门课：超参数，正则化，诊断偏差，方差，高级优化算法。
高级优化算法：momentum，adam算法
第三门课：构建机器学习系统的策略改变深度学习错误，端对端深度学习
第四门课：卷积神经网络（CNNS），应用图像。
第五门课：序列模型，应用自然语言处理。
序列模型：循环神经网络（RNN），长短期记忆网络（LSTM）
1.2 神经网络
ReLU 激活函数：rectified linear unit。rectify 修正 max(0,x)
1.3 神经网络监督学习
目前所有由神经网络创造的经济价值，本质 监督学习。
应用：
- 在线广告-----网站输入广告信息，和用户信息，网站考虑是否展示广告。
- 预测用户是否点开广告，推荐用户可能点击广告
- 计算机视觉
- 语音识别：输入语音，输出文本
- 机器翻译：输入英文句子，输出中文句子
- 自动驾驶：输入图片，发现汽车前方有什么。告诉汽车在马路上具体的位置
图像：卷积（CNN）
序列数据：递归神经网络（RNN），更复杂的（RNNs）。数据是时间组成部分。 ( 比如音频，有时间组件，随时间推移，音频播放。)
应用细节：
- 结构化数据：基本数据库
- 非数据化数据：难，语音识别，图像识别，自然语言文字处理
短期经济价值创造：结构化数据
1.4 深度学习兴起
准确率：垃圾邮件过滤，广告点击预测，自动驾驶汽车判断位置
神经网络巨大突破：sigmoid函数 —> ReLU函数
sigmoid函数：梯度下降以及梯度接近零，参数更新慢，学习速度慢。
ReLU函数：修正线性单元。输入负值的梯度为0，梯度不会趋向逐渐减小到0
