知识点
1. Relu（Rectified Liner Uints 整流线性单元）激活函数：max(0,z)
神经网络中常用ReLU激活函数，与机器学习课程里面提到的sigmoid激活函数相比有以下优点：
1、simoid激活函数具有饱和性，通常不适用simoid作为激活函数
2、ReLU的收敛速度更快
2、常见监督学习应用场景
3、结构化数据与非结构化数据
结构化数据，结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。
非结构化数据，没有固定结构的数据。各种文档、图片、视频/音频等都属于非结构化数据。对于这类数据，我们一般直接整体进行存储，而且一般存储为二进制的数据格式。。
半结构化数据，包括邮件、HTML、报表、资源库等等，典型场景如邮件系统、WEB集群、教学资源库、数据挖掘系统、档案系统等等。
4、深度学习发展趋势图解
神经网络的规模以及数据规模能够很大程度的提高深度学习的性能
5、数学知识点补充:
稀疏性：一组向量中元素为0的数量，与信号的可压缩性密切相关。