DeepLearning学习笔记(一)--神经网络基础

顺序可能有点儿乱。。。

1;ReLU函数(修正线性单元),“修正“的意思即”大于0“

    函数图像为:(左边趋近于0,避免出现负值)

2;

3;CNN:卷积神经网络

      RNN:循环神经网络(在对于序列数据sequence data的处理方面效果显著,如:语音audio,语句翻译,自然语言处理)

      而对于image, radar info(无人驾驶)等,混合神经网络更适用

4;结构化数据(structured data):有数据库的数据(表格、房价、卡路里等)

     非结构化数据(unstructured data):如image data,audio,text……

5;正向(反向)传播过程:forward (backward) propagation step

6;举例:图像的存储,为Red,Green,Blue三个64*64矩阵(像素为64*64)

                 把像素值取出放入一个特征向量X,一个有64*64*3=12288行的列向量

                 则此时输入的特征向量的维度为n=nx=12288

7;(x, y):一个单独的样本

      x:nx维的特征向量     标签y:0或1

      m:训练集的规模,即训练集由多少个训练样本组成

      m_train:训练集样本数量

      m_test:测试集样本数量

      (x^{(1)}, y^{(1)}):样本一的输入和输出

      (x^{(m)}, y^{(m)}):样本m的输入和输出

      矩阵X:

8;Logistic回归模型:一个用于二元分类的算法(预测结果仅为0或1)

     Given:x,want:\widehat{y}  = a = P( y=1| x)

     x是一个n_{x}维向量,x\epsilon R^{n_{x}}

     \widehat{y}是当输入特征满足条件时,y=1的概率

     给定logistic回归的参数是 w\epsilon R^{n_{x }} 和 

     损失函数(loss(error) function):L(a, y)=L(\widehat{y}, y)=-(ylog\widehat{y}+(1-y)log(1-\widehat{y}))

     成本函数(cost function):

     成本函数,用于在全部训练集上,衡量参数w和b的效果

     我们要做的:找到w和b是的J(w, b)尽量小

      :sigmoid函数  当z越大,值越接近1;z越小,值越接近0

     

9;梯度下降法:gradient descent algorithm

      

      用任意值初始化之后,沿着梯度最大的方向向下走

      

       假设输入一个有两个特征x1、x2的样本,

   

猜你喜欢

转载自blog.csdn.net/qq_42182367/article/details/81985788