神经网络1

数据集:

sigmoid与条件概率的关系及推导过程

sigmoid是机器学习中常用的激活函数,其优势作者这里不一一赘述,本文主要从另一个角度,判别模型(discriminative model)条件概率的角度对sigmoid函数进行推导。

机器学习判别模型主要想通过神经网络对 P(Y|X)

进行建模。

假设 xϵRn

且yϵy1,y2且P(x|y1)∼N(μ1,∑) 且 P(x|y1)∼N(μ1,∑)
根据上述假设可得:

根据贝叶斯公式:

观察 P(x|y1)P(x|y2)

带入假设P(x|y1),P(x|y2)

概率密度函数,可得

注:(1)同理也可以通过假设多个条件概率密度函数,也可以求得softmax形式。(2)为了便于推导方便这里假设协方差矩阵相同,不同的话也没有问题,不影响最终线性表达式的形式

归一化,也算是数据标准化方法之一。常见的计算公式如下,得到新数据范围在[0,1]之间,归一化由此得名。

归一化:1)把数据变成(0,1)或者(1,1)之间的小数。

物理量按照其属性分为两类:1.物理量的大小与度量所选用的单位有关,称为有量纲量,例如,时间、长度、质量、速度、力、能量等。2.物理量的大小与度量所选的单位无关,称为无量纲量,例如角度、增益、两个长度之比等。

发布了25 篇原创文章 · 获赞 139 · 访问量 116万+

猜你喜欢

转载自blog.csdn.net/shenwansan_gz/article/details/99542627
今日推荐