目录
1 多层感知器
1.1理论知识
1.1.1单层神经元的缺陷
异或的问题,翻看笔记就可以,这里主要讲解的是
1.1.2 神经元的启发
多层感知器
增加激活函数的时候,是为了输出达到一定提交输出期望的数值
1.2.3激活函数:
relu
simod和tanh容易导致饱和问题
Leak relu 用在深层网络中
1.3代码实现
模型分析:
分析:
我们设定了输出有十个隐藏单元 Ouput Shape(None,10)
(3个变量乘以他们的权重)x1 w1 x2 w2 x3 w3 再加一个param * 10 =40
如图:
Dense_1 10个 隐藏单元 加一个偏置 参数11
接下来训练模型,接下来我们需要配置他的优化器
测试
2 逻辑回归和交叉熵
2.1输出二元的值
Sigmoid函数
神经网络是映射网络
如果用平方差损失函数刻画损失,一般情况下损失和原有数据集处于同一级
出现的问题:迭代次数多,训练速度慢
因此分类问题 使用交叉熵(和朴素贝叶斯的信息熵很像)
2.2 理论基础
刻画概率
靠近0 非常大,放大了概率分布的损失
我们使用字符串来表示二元交叉熵
看一下数据
因为支持向量机采用-1.1而我们用这里的逻辑回归 二类问题的话 应该采用0,-1,添加层进去
4个隐藏单元数,对于第一层,数据形状前15列 激活relu
2个隐藏层+一个输出层