神经网络与机器学习(第3版)阅读笔记{第0章}

前言():
{
  之前对神经网络有初步的了解(在学图论的时候),一直想跟着一本书系统的了解一下,现在看到了这本书,就决定仔细研读一下。

  第0章虽然涉及了不少东西,但因为是第0章,我就把我认为的重点记下来,缩成了一篇,以后遇到再细分吧。
}

正文():
{
  首先介绍了什么是神经网络,并且引入了一些术语。

  神经网络(初步了解):
  {
    就像书中说的那样,神经网络是一个有向图,并且有一下性质:

    1,每个边都有一个权值(一般在公式中以w表示),经过某条边的刺激(电压,或数据)都要被乘以这条边的权值。

    2,结点通用一个激活函数(我现在看到的单个神经网络中所有结点都只用一个激活函数)和一个偏置(一般在公式中以b表示),函数的输入为结点的所有输入和其偏置的总合,函数的输入为结点的每个输出。

    举个例子:
    这里写图片描述
    其中e1的权值w1为0.4,e2的权值w2为0.5,N的偏置b为-0.3(神经网络里的各种值都是在-1到1之间,所以要把输入也缩小到这之间),并且激活函数如下:
    这里写图片描述

    上图是一种阈值函数,叫Heaviside函数;目前还学到了另一种阈值函数,sigmoid函数:
    这里写图片描述

    还有一种有意思的模型,函数的输出值为结点输出1的概率,其数学期望是一样的(有没有数学期望是一样的其他非二项分布的概率模型呢?{问题1})。
    
    卷积神经网络(初步猜测):
    {
    先说卷积。我先看了百度百科,上面有一句话“概率论中,两个统计独立变量X与Y的和的概率密度函数是X与Y的概率密度函数的卷积”。通过这句话我就对卷积有了初步的了解。
    首先打个比方,我现在手上有2个骰子,我想算一算扔出骰子总点数的为6的概率,那么最直接的方法就是算一下每种可能,设骰子A为x的概率为Pa(x),骰子B的概率为Pb(x)(如果是均匀的骰子,那这就是常数1/6),如下(箭头表示从小到大的顺序):
    这里写图片描述
    这种Pa(n)*Pb(6-n)的形式乘积先称之为“卷”。
    “积”先理解成积分,对于离散的情况就是全部加到一起:
    这里写图片描述
    这也就是骰子总点数的为6的概率。
    以此类推,骰子总点数的为x的概率P(x)为:
    这里写图片描述
    那么,可以这样说:“概率论中,两个统计独立变量X与Y的和的概率质量函数是X与Y的概率质量函数的卷积”
    卷积先到此为止,之后我可能会开一个新文专门记录卷积。
    
    关于卷积网络,书中有一句总结:
    这里写图片描述
    上面说的其实很好理解,就是两层之间不完全连接,并且存在共享的权值。那么,如果只满足其中部分条件是不是卷积网络呢?{问题2}
    还有个问题,卷积网络里怎么理解卷积二字呢?或者说哪里有“从小到大”乘以“从大到小”再加到一起的结构?{问题3}
    }
  }

  信号流图(简单描述):
    一种信号流的表达方式,比较容易理解。

  误差曲面(简单描述):
    是一个函数,书上只提到是关于自由参数的,即E=f(w1, w2, … b1, b2, …),应该是像一个字典一样的东西。

  学习(两种学习模式):
  {
    一般说让神经网络学习就是改变其中的权值和偏置,所以这两个又叫自由参数,而且偏置也可以当作一个权值,即它的输入端连接着一个虚拟的1输出。

    即学习就是根据输出的误差来修改自由参数。
    
    有教师学习(简单描述):
      就是由另一部分(比如说人)根据其对外界的改造来判定输出的误差。这也是我目前见到最多的一种,我之前还参加过腾讯翻译君的训练,和谷歌翻译的让你选择差不多,我想应该就起教师作用吧。

    无教师学习(分两种):
    {
      强化学习():
      目前还是没明白,里面所谓的评价系统不就是教师吗?
      无监督学习():
      我叫它唯心主义学习法。这种学习主要在乎其对外界的理解,而不是外界本身的意义。用那谁的话说,反正都是抽象的数。
    }
  }
}   

结语():
{
  先到这里吧,其实还有很多不明白的,不过因为是第0章,就先不全都在这写了。之后的章节就会细究。
}

猜你喜欢

转载自blog.csdn.net/fish_like_apple/article/details/77994632
今日推荐