字节跳动面经 合集

字节跳动AI LAB面经(CV)
字节 算法实习生面经
字节/腾讯算法岗暑期实习面经分享
字节跳动抖音算法实习生面经
20200328字节跳动计算机视觉算法实习生-AI lab
字节跳动算法工程师岗一二三面经

logit函数和sigmoid函数是什么关系？

logit函数和sigmoid函数互为反函数, logisitic 函数就是sigmoid函数。
其中， $logit(p) = ln \frac{p}{1-p}$, $simoid(x) = \frac{1}{1+e^{-x}}$.
在逻辑回归中，假设数据符合伯努利分布，
$P(Y=1\mid x) = \frac{exp(\omega \cdot x)}{ 1 + exp(\omega \cdot x)}$
$P(Y=0\mid x) = \frac{1}{ 1 + exp(\omega \cdot x)}$

因此可推导出， $logit(p) = \omega \cdot x$.
似然函数为
$\prod_{i=1}^{N} p^{y_i} \cdot (1-p)^{1-y_i}$
对数似然函数为：
$L(\omega) = \sum_{i=1}^{N} y_i\cdot log(p) + (1-y_i) \cdot log(1-p)$
求极大似然估计， $L(\omega)$的极大值，即求 $-L(\omega)$的极小值， $-L(\omega)$也就是交叉熵损失函数。
在多分类任务中，假设数据符合多项式分布，使用softmax函数进行回归，，根据极大似然函数可以推导出多酚类任务中的交叉熵函数。

交叉熵损失函数

二分类：
$L = -(y\cdot log(p) + (1-y) \cdot log(1-p) )$
多分类：
$L = - \sum_{i}^{} y_i log(p_i)$
其中， $y_i$ 指示变量（0/1），如果该类别与样本的真实类别相同取值为1，否则取值为0. $p_i$表示样本属于i的预测概率。

交叉熵用来描述两个分布的距离， 神经网络训练的目的就是使g(x)逼近p(x)。

交叉熵损失函数

极大似然估计法 和 最小二乘法

极大似然估计与最小二乘法

Adam优化器