cs224n学习笔记L2:word vectors and word senses

cs224n学习笔记L1:自然语言处理简介

一、课堂计划

1. 完成word vectors和word2vec工具预览（即作业一）
2. 优化理论基础
3. 能否通过计数使计算更高效
4. glove模型计算词向量的方案
5. 验证word vectors
6. word senses(词感知？)

目的：课堂结束后能够读懂词嵌入的论文。

二、 词向量计算方法

2.1 回顾word2vec计算

对一个中心词，与窗口内的context词出现的概率：
$P(o|c) = \frac{exp(u_o^T v_c)}{\sum_{w \in V}exp(u_wv_c)} \tag{2.1}$
通过极大似然方法最大化整个文本出现的概率：
$L(\theta) = \prod_{t=1}^T\prod_{-m \le j \le m， j\ne0}P(w_{t+j}|w_t,\theta)$
损失函数：
$J(\theta)=-\frac1TlogL(\theta)=-\frac1T\sum_{t=1}^T\sum_{-m \le j \le m， j\ne0}logP(w_{t+j}|w_t,\theta) \tag{2.2}$

2.2 word2vec中计算方法详解

假设vocabulary包含m个词，每个词向量长度为n, 对于每一个词，作为中心词(center)和非中心词(outside)时分别使用v和u两个向量表示。在计算完成后将两个向量平均作为最终词向量表示。
$U_{m \times n}(outside) = \left[ \begin{matrix} u_1 \\ u_2 \\ \vdots \\ u_m \end{matrix} \right]$
$V_{m \times n} (center)= \left[ \begin{matrix} v_1 \\ v_2 \\ \vdots \\ v_m \end{matrix} \right]$
对每一个词作为中心词时，计算概率分布。这里假定第4个词作为中心词时，有
$D_{m \times 1} = U_{m \times n} \cdot v_4^T = \left[ \begin{matrix} d_1 \\ d_2 \\ \vdots \\ d_m \end{matrix}\right]$
其中，d为与m个outside词的点积，由于两个向量的点乘可以表示其相似度，进一步可用于表示其出现的概率大小，从而得到概率表示：
$P_{m \times 1} = softmax(D_{m \times 1}) = \left[ \begin{matrix} p_1 \\ p_2 \\ \vdots \\ p_m \end{matrix}\right]$
这里原理就很明显了，我们接下来需要做的，就是通过优化问题来更新矩阵U和V，从而使词向量模型需对出现在同一个context中的词赋予较大的概率。

2.3 高频词(the)引起的问题

通过以上计算过程可以知道，如果两个词出现在一个context的次数越频繁，那么他们的词向量就会越接近，这样一来像the这样的高频词，就会使它前后的词向量高度集中，从而导致一些问题。

三、优化基础

3.1 梯度下降

1. 梯度是指多元函数在某个点上升最快的方向，那么梯度的反方向当然就是下降最快的方向。从而得到直观的优化公式：
   $\theta_{new} = \theta_{old} - \alpha \nabla_{\theta}J(\theta)$
   此处 $\nabla_{theta}J(\theta)$为损失函数的梯度， $\alpha$为学习率或步长，是一个超参数。以上是对整个问题的矩阵表示，但在计算过程中，需要一个个的更新参数，所以有对单个参数 $\theta_j$表示版本：
   $\theta _ { j } ^ { n e w } = \theta _ { j } ^ { o l d } - \alpha \frac { \partial } { \partial \theta _ { j } ^ { o l d } } J ( \theta )$
   在高等数学（同济）中关于梯度的定义如下，及梯度是各个自变量的偏导组成的向量。
   

3.2 随机(stochastic)梯度下降（SGD）

3.1中提到的梯度下降，为了计算出参数的梯度，需要代入整个数据集，这样一次更新计算量非常大，因此提出随机梯度下降方法，即每一个更新都是从数据及中随机抽样部分数据（batch), 在词向量计算中对每一个window数据计算一次更新。

四、word vector优化过程

4.1 SGD引起的稀疏数据

由于使用一个窗口更新一次，由于 $\nabla_{\theta}J_t(\theta)$是各个词向量的偏导组成的向量，如果这个词没有出现，其偏导也就为0，因此梯度将非常稀疏。

对应方案：使用稀疏矩阵或者将词hash映射到具体向量，如果是分布式计算，必须避免大量的中间数据在节点之间的传送

4.2 两种词向量建模方案

1. Skip-gram(SG)：给定中心词预测窗口context(outsides)
2. Continous Bag of Words(CBOW)：给定窗口context预测中心词

4.3 训练效率提升方案

1. 负采样。目前为止仍然以更简单但是计算量大的传统softmax为主要方案, 即公式2.1中的分母（正则项）。
2. 由于经典方案正则化计算量太大，因此我们在作业二中使用负采样方案。其主要思想为：训练一个logistics regression分类器， 判断一个词语对是否来自于同一个context。
3. 损失函数：最大化如下函数：
   
   在作业二中，使用的损失函数为：
   $J _ { n e g - s a m p l e } \left( \boldsymbol { o } , \boldsymbol { v } _ { c } , \boldsymbol { U } \right) = - \log \left( \sigma \left( \boldsymbol { u } _ { o } ^ { \top } \boldsymbol { v } _ { c } \right) \right) - \sum _ {k = 1 , k \sim P(w) } ^ { K } \log \left( \sigma \left( - \boldsymbol { u } _ { k } ^ { \top } \boldsymbol { v } _ { c } \right) \right)$
   这里的 $P(w)$为采样的概率分布，为了平衡高频词和低频次的影响，取 $P(w) = \frac{U(w)^{3/4}}{Z}$, 这里 $U(w)$为unigram分布，及按词频比例作为其概率分布，指数部分取3/4可以平滑词频的影响，分母Z表示正则化，将指数操作后（和不为1）的数值重新变为概率(和为1)。

4.4 统计共现(co-occurence)词对

1. 存在问题：存储共现矩阵稀疏（ $O(n^2)$内存）
2. 解决办法：奇异值分解降维。可以使用numpy库中的np.lilalg.svd()函数。

五、验证及其他

5.1 两种验证方法

• 类比
• 训练完整的下游任务

5.2 其他

课程还介绍了很多词向量的其他细节、例如一词多义、词向量训练参数介绍及各种模型性能对比等，课程后半截听得有点迷糊，这里就不给出完整笔记了，如果以后需要冲刷再来补上。

六、作业

6.1 手写推导部分

感悟：当遇到矩阵或向量求导的时候，要每个元素拆开单独计算，第4小题比较典型。

1. 一行文字说明下面两个公式等价，即交叉熵损失与naive-softmax。
   $J_{cross-entropy}=- \sum y _ { w } \log \left( \hat { y } _ { w } \right) = - \log \left( \hat { y } _ { o } \right)$
   $J_{naive-softmax}\left( \boldsymbol { v } _ { c } , o , \boldsymbol { U } \right) = - \log P ( O = o | C = c )$
   答：由于 $y_w$为0-1概率分布，因此 $J_{cross-entropy} \\ =- \sum y _ { w } \log \left( \hat { y } _ { w } \right) \\ = - \sum (0,1) \cdot \log \left( \hat { y } _ { w } \right) \\ = - \log \left( \hat { y } _ { w1 } \hat { y } _ { w2 } \dots \hat { y } _ { wT } \right) \\ =- \log P( O = o | C = c )$

2. we know this deravatives:(这里第一种解法利用了softmax+交叉熵求导的一般规律，可以推导证明)
   解法一： $\because J = CE(y, \hat{y}) \\ \hat{y} = softmax(\theta)\ \\ \therefore \frac{\partial J}{\partial \theta} = (\hat{y} - y)^T$
   $y$ is a column vector in the above equation. So, we can use chain rules to solve the deravitive:
   $\begin{aligned} \frac{\partial J}{\partial v_c} &= \frac{\partial J}{\partial \theta} \frac{\partial \theta}{\partial v_c} \ &= (\hat{y} - y) \frac{\partial U^Tv_c}{\partial v_c} \ &= U^T(\hat{y} - y)^T \end{aligned}$
   解法二：
   $\begin{aligned} \frac{\partial J\left(v_{c}, o, U\right)}{\partial v_{c}} &=-\frac{\partial\left(u_{o}^{T} v_{c}\right)}{\partial v_{c}}+\frac{\partial\left(\log \left(\sum_{w} \exp \left(u_{w}^{T} v_{c}\right)\right)\right)}{\partial v_{c}} \\ &=-u_{o}+\frac{1}{\sum_{w} \exp \left(u_{w}^{T} v_{c}\right)} \frac{\partial\left(\sum_{w} \exp \left(u_{w}^{T} v_{c}\right)\right)}{\partial v_{c}} \\ &=-u_{o}+\sum_{w} \frac{\exp \left(u_{w}^{T} v_{c}\right) u_{w}}{\sum_{w} \exp \left(u_{w}^{T} v_{c}\right)} \\ &=-u_{o}+\sum_{w} p(O=w | C=c) u_{w} \\ &=-y_ou_o+\sum_w\hat y_wu_w (单个u_o)\\ &=-U^T\boldsymbol{y} + U^T\boldsymbol{\hat y}(全体u，这里限定O=o所以U实际代表一行） \\ &=U^{T}(\hat{y}-y) \end{aligned}$

3. similar to the equation above. $\begin{aligned} \frac{\partial J}{\partial v_c} &= \frac{\partial J}{\partial \theta} \frac{\partial \theta}{\partial U} \ &= (\hat{y} - y) \frac{\partial U^Tv_c}{\partial U} \ &= v_c(\hat{y} - y)^T \end{aligned}$

4. $x$为一个向量，求sigmod函数对x的偏导，结果可以用 $\sigma(x)表示$。
   $\sigma(x)= \frac{1}{1+e^{-x}}=\frac{e^x}{1+e^x}$
   答： $sigmod(x) = \frac{1}{1+e^{-x}}$, 由于x为一个向量 $x=(x_1, x_2, \dots, x_n)$，而求导实际上是针对单个变量, 由于 $\sigma(x)$是x的函数，所以求导结果应该是一个矩阵：
   $\begin{aligned} \frac{\partial \sigma(x_i)}{\partial x_i} & = \frac{e^{-x_i}}{(1+e^{-x_i})^2} =\frac{(1+e^{-x_i})-1}{(1+e^{-x_i})^2} = \sigma(x)(1-\sigma(x))\\ \frac{\partial \sigma(x_i)}{\partial x_j} & = 0 \\ \therefore \frac{\partial \sigma(x)}{\partial x} &= \left[\begin{matrix} \sigma'(x_1) & 0 & \ldots &0 \\ 0 & \sigma'(x_2) & \ldots &0 \\ \vdots & \vdots & \ddots& \vdots\\ 0 &0 & \ldots & \sigma'(x_n)\\ \end{matrix} \right] \end{aligned}$

sigmod 函数有一些特性： (1) $\sigma(-x) = 1-\sigma(x)$ (2) $\sigma'(x) = \sigma(x)(1-\sigma(x))$

5. 题目描述如图
   答：根据第四题有 $\begin{aligned} (1) \frac{\partial J}{\partial v_c} & = -\frac{\sigma'(u_o^Tv_c)u_o}{\sigma(u_o^Tv_v)} + \sum_{k=1}^K \frac{\sigma'(-u_k^Tv_c)u_k}{\sigma(-u_k^Tv_c)} \\ &=(\sigma(u_o^Tv_c)-1)u_o+\sum_{k=1}^K(1-\sigma(-u_k^Tv_c))u_k \\ & =(\sigma(u_o^Tv_c)-1)u_o+\sum_{k=1}^K\sigma(u_k^Tv_c)u_k \\ (2)\frac{\partial J}{\partial u_o} &= (\sigma(u_o^Tv_c)-1)v_c (o \notin K)\\ (3)\frac{\partial J}{\partial u_k} &=\sigma(u_k^Tv_c)v_c \end{aligned}$
   从偏导可以看出，梯度更新时，使用负采样计算的参数量远远小于naive-softmax。

6.2 代码

github链接
实现word2vec, 实际上是在课程代码框架下填充部分代码。

七、收货与感想

这次课程完成时间比较长，当然收货也比较大，复习了一遍高数，终于勉强搞懂了矩阵向量求导，算是推公式入门选手了吧。