Tensorflow 入门与实践(基础知识)-逻辑回归+多层感知机

目录

1 多层感知器

1.1理论知识

1.1.1单层神经元的缺陷

1.1.2 神经元的启发

1.2.3激活函数:

relu

1.3代码实现

2 逻辑回归和交叉熵

2.1输出二元的值

Sigmoid函数

2.2 理论基础

刻画概率


1 多层感知器

1.1理论知识

1.1.1单层神经元的缺陷

异或的问题,翻看笔记就可以,这里主要讲解的是

1.1.2 神经元的启发

多层感知器

增加激活函数的时候,是为了输出达到一定提交输出期望的数值

1.2.3激活函数:

relu

simod和tanh容易导致饱和问题

Leak relu 用在深层网络中

1.3代码实现

模型分析:

分析:

我们设定了输出有十个隐藏单元 Ouput Shape(None,10)

(3个变量乘以他们的权重)x1 w1 x2 w2 x3 w3 再加一个param   * 10 =40

如图:

Dense_1   10个 隐藏单元 加一个偏置 参数11

接下来训练模型,接下来我们需要配置他的优化器

测试

2 逻辑回归和交叉熵

2.1输出二元的值

Sigmoid函数

神经网络是映射网络

如果用平方差损失函数刻画损失,一般情况下损失和原有数据集处于同一级

出现的问题:迭代次数多,训练速度慢

因此分类问题 使用交叉熵(和朴素贝叶斯的信息熵很像)

2.2 理论基础

刻画概率

靠近0 非常大,放大了概率分布的损失

我们使用字符串来表示二元交叉熵

看一下数据

因为支持向量机采用-1.1而我们用这里的逻辑回归 二类问题的话 应该采用0,-1,添加层进去

4个隐藏单元数,对于第一层,数据形状前15列 激活relu 

2个隐藏层+一个输出层

猜你喜欢

转载自blog.csdn.net/qq_37457202/article/details/107757893
今日推荐