【Andrew Ng Deep Learning个人学习笔记】 2、神经网络基础（1）

构建训练集的矩阵时，使用以下形式：

$X = \begin{pmatrix} \vdots & \vdots & & \vdots \\ x^{(1)}& x^{(2)} & \cdots & x^{(m)}\\ \vdots & \vdots & & \vdots \\ \end{pmatrix} X\in R^{n \times m}$
$Y= \begin{pmatrix} y^{(1)} & y^{(2)} & \cdots & y^{(m)} \\ \end{pmatrix} Y\in R^{1 \times m}$
  
  

逻辑回归（Logistic Regression）

   Given X, $\hat{y}$ = P(y = 1 | X)   0 $\leq$ $\hat{y}$ $\leq$ 1
   即预测值 $\hat{y}$ 为：X条件下, y = 1的概率。
  
  

参数说明（Parameters specification）

   输入的特征向量(Feature Vector)X:  X $\in$ $R^{n_x}$ , $n_x$为特征的数量;
   训练标签(Training Label)Y:  Y $\in$ {0， 1} ;
   权重(Weights)w:  w $\in$ $R^{n_x}$ ;
   阈值？？(Threshold)b:  b $\in$ $R$ ;
   输出(Output) $\hat{y}$:   $\hat{y}$ = $\sigma$( $w^T$x + b) ;
   $S$型函数（Sigmoid Function）:  $S$ = $\sigma$( $w^T$x + b) = $\sigma$( $z$) = $\frac{1}{1+e^{-z}} \quad$;
   参数向量（Parameter Vector）:   $\Theta$ = $\begin{pmatrix} \theta_0 \\ \theta_1 \\ \theta_2 \\ \vdots \\ \theta_m \\ \end{pmatrix}$
  
  

损失函数（Loss/Error Function）

   $l(\hat{y}^{(i)}, y^{(i)}) =\frac{1}{2} (\hat{y}^{(i)}- y^{(i)})^2$
  一般情况下，我们使用平方误差（Squared Error）来衡量损失函数，但是一个非凸函数，运行梯度下降算法时，很大可能性取到的是局部最优解，而我们想要的是全局最优解，因此一般情况下不使用这种损失函数。
  
一般使用这种形式的损失函数：
   $l(\hat{y}^{(i)}, y^{(i)}) =-[y^{(i)}log(\hat{y}^{(i)}) + (1-y^{(i)})log(1-\hat{y}^{(i)})]$
     $if$   $\hat{y}^{(i)}==1: l(\hat{y}^{(i)}, y^{(i)}) =-y^{(i)}log(\hat{y}^{(i)})$
     $if$   $\hat{y}^{(i)}==0: l(\hat{y}^{(i)}, y^{(i)}) =-(1-y^{(i)})log(1-\hat{y}^{(i)})$
  
  

代价函数（Cost Function）

   $J(w,b)=\frac{1}{m}\sum_{i=1}^ml(\hat{y}^{(i)}, y^{(i)})$
       $=-\frac{1}{m}\sum_{i=1}^m[y^{(i)}log(\hat{y}^{(i)}) + (1-y^{(i)})log(1-\hat{y}^{(i)})]$
  
  

对比Cost Function与Loss/Error Function

  Loss/Error Function衡量单个训练样本上的表现；Cost Function是Loss Function在整个训练集（Training set）上的平均值。