人类读懂文章是一个很自然的行为，当我们读完一篇《背影》的时候，我们就可以知道这篇文章在写些什么，也就是我们说获得了这篇文章的相关知识。有了这些知识，我们就可以回答一些问题，例如:
问：这篇文章写的主要内容是什么呢？
问：有类似《背影》这样的文章可以推荐的吗？
虽然上面的问答对任务对人类来说十分简单，但对于机器来说却并不容易。机器对自然语言(中文文本)的理解实际上并不是非常简单的事情，因为自然语言本身是一个高层抽象的概念，而机器只擅长处理量化的知识，例如说让机器记住向量
x
⃗
=
[
1
,
2
,
3
]
\vec x=[1, 2, 3]
x
= [ 1 , 2 , 3 ]
y
⃗
=
[
4
,
5
,
6
]
\vec y=[4, 5, 6]
y
= [ 4 , 5 , 6 ]
x
⃗
\vec x
x
y
⃗
\vec y
y
让我们重新揣摩一下人类读懂文章的过程，实际上我们并不需要背熟每一个字词，而是阅读完成之后再总结出这篇文章主要在写什么，也就是文章的主题。为了让机器能理解文章，我们也需要把这些主题量化出来，形成类似
t
o
p
i
c
→
=
[
′
亲
情
′
:
0.5
,
′
送
别
′
:
0.5
]
\overrightarrow {topic}=['亲情': 0.5, '送别': 0.5]
t o p i c
= [ ′ 亲 情 ′ : 0 . 5 , ′ 送 别 ′ : 0 . 5 ] 主题模型 了。
在主题模型方面前人们已经做了很多工作，并且取得了非常不错的成效，其中影响较大的是一类模型叫做隐语义模型 ，而这类模型里面概率隐语义分析 也就是本文所述的pLSA则是应用最成功的模型之一，同样成功的模型还有隐含狄利克雷分布 ，也就是大名鼎鼎的LDA主题模型，不过LDA与pLSA的思想一脉相承，只不过做了贝叶斯改造而已。
事实上pLSA是在对我们写一篇文章的行为建模，我们先揣摩朱自清先生写《背影》的行为。首先我朱先生敲定了今天要写一篇《背影》，然后他开始构思了这篇文章的主题为：亲情、送别，并且朱先生认为这两部分的内容都几乎同等重要，也就是:
[
′
亲
情
′
:
0.5
,
′
送
别
′
:
0.5
]
['亲情': 0.5, '送别': 0.5]
[ ′ 亲 情 ′ : 0 . 5 , ′ 送 别 ′ : 0 . 5 ]
我买几个橘子去，你就在此地，不要走动。
实际上是朱先生先前构思好的亲情、父子、送别这三个中心思想在影响着朱先生写下了这段话。于是在这三个中心思想的影响下，朱先生写完了《背影》里面的所有词，而我们读者所谓的理解 《背影》，实际上就是从我们看到的《背影》的所有词，推断出了朱先生构思的主题:
[
′
亲
情
′
:
0.5
,
′
送
别
′
:
0.5
]
['亲情': 0.5, '送别': 0.5]
[ ′ 亲 情 ′ : 0 . 5 , ′ 送 别 ′ : 0 . 5 ]
从分布
p
(
d
m
)
p(d_m)
p ( d m )
d
m
d_m
d m
对于文章
d
m
d_m
d m
p
(
z
k
∣
d
m
)
p(z_k|d_m)
p ( z k ∣ d m )
z
k
z_k
z k
从分布
p
(
w
n
∣
z
k
)
p(w_n|z_k)
p ( w n ∣ z k )
w
n
w_n
w n
这个模型可以用plate notation更加简洁地描述：
d
d
d
w
w
w
z
z
z
N
N
N
M
M
M
N
N
N
M
M
M
这样写文章的模型是符合直觉的，但仔细推敲总觉得过于机械生硬，这样的机械式过程能写得出朱先生《背影》那样优秀的文章吗?
如果无限多个猴子任意敲打打字机键，最终会写出大英博物馆的所有藏书 – 爱丁顿无限猴子理论
一件小概率的事件在多次试验中必然发生，这就是为什么随机敲打键盘的猴子也能作的原因，于是上面问题答案自然是肯定的，pLSA这样合乎直觉的模型当然要比一只茫无目的敲打键盘的猴子更加具备写作天赋。
我们读者需要阅读根据文章和文章的所有内容去推断文章的主题，而pLSA眼里则是根据可观测变量
w
w
w
d
d
d
z
z
z
p
(
z
k
∣
p
m
)
p(z_k|p_m)
p ( z k ∣ p m )
p
(
w
n
∣
z
k
)
p(w_n|z_k)
p ( w n ∣ z k ) 文章主题分布 和主题词分布 。 而
p
(
z
k
∣
d
m
)
p(z_k|d_m)
p ( z k ∣ d m )
d
m
d_m
d m
[
′
亲
情
′
:
0.5
,
′
送
别
′
:
0.5
]
['亲情': 0.5, '送别': 0.5]
[ ′ 亲 情 ′ : 0 . 5 , ′ 送 别 ′ : 0 . 5 ]
d
m
d_m
d m
y
y
y
y
=
a
x
+
b
y=ax+b
y = a x + b
y
0
=
0
,
y
1
=
1
,
y
2
=
2
,
.
.
.
.
y
n
=
n
y_0=0, y_1=1, y_2=2,....y_n=n
y 0 = 0 , y 1 = 1 , y 2 = 2 , . . . . y n = n
a
a
a
b
b
b
x
x
x
行文至此，我们且对pLSA的求解按下不表，先来实际感受一下pLSA的作用。这里选择格林童话中的十几篇童话作为语料训练pLSA，然后分别从5个主题分布中取出的top3词语：
topic-1
topic-2
topic-3
topic-4
topic-5
wrong
birds
morning
soldier
good
issue
fox
met
king
gave
faith
horse
wood
castle
great
可以看到pLSA是可以正确推导出来主题分布的。
pLSA是一种含隐变量的生成模型，也就是概率化地描述了样本数据(文章)的生成并且包含隐藏变量的模型，对于这种模型可用MCMC或EM算法来求解。本文讲解的是pLSA的EM算法求解，这里并不打算讲解EM的具体推导，而是直接利用EM算法的结论来对pLSA模型求解，关于EM算法的内容读者可以自己网上搜罗一下资料，或者待我抽空再写一篇关于EM算法的文章。
j
j
j
w
j
w_j
w j
(1)
θ
m
k
=
p
(
z
k
∣
d
m
)
ψ
k
j
=
p
(
w
j
∣
z
k
)
\begin{aligned} \theta_{mk}=p(z_k|d_m) \\ \psi_{kj} = p(w_j|z_k) \end{aligned} \tag{1}
θ m k = p ( z k ∣ d m ) ψ k j = p ( w j ∣ z k ) ( 1 )
(2)
p
(
w
,
z
,
d
)
=
∏
m
p
(
d
m
)
∏
n
p
(
w
m
n
∣
z
m
n
)
p
(
z
m
n
∣
d
m
)
p(\bm w, \bm z, \bm d) = \prod_m p(d_m) \prod_n p(w_{mn}|z_{mn})p(z_{mn}|d_m) \tag{2}
p ( w , z , d ) = m ∏ p ( d m ) n ∏ p ( w m n ∣ z m n ) p ( z m n ∣ d m ) ( 2 )
d
m
d_m
d m
m
m
m
w
m
n
w_{mn}
w m n
m
m
m
n
n
n
z
m
n
z_{mn}
z m n
m
m
m
n
n
n
(3)
Q
(
z
;
θ
,
ψ
)
=
p
(
z
∣
d
,
w
;
θ
,
ψ
)
Q(\bm z; \bm \theta, \bm \psi) = p(\bm z|\bm d, \bm w; \bm \theta, \bm \psi) \tag{3}
Q ( z ; θ , ψ ) = p ( z ∣ d , w ; θ , ψ ) ( 3 )
(4)
∑
z
Q
(
z
)
l
n
p
(
w
,
z
,
w
)
=
∑
m
l
n
p
(
d
m
)
∑
n
∑
k
q
(
z
m
n
k
)
l
n
[
p
(
w
m
n
∣
z
k
)
p
(
z
k
∣
d
m
)
]
\sum_{\bm z} {Q(\bm z)lnp(\bm w, \bm z, \bm w)} = \sum_mlnp(d_m) \sum_n \sum_kq(z_{mnk})ln[p(w_{mn}|z_k)p(z_k|d_m)] \tag{4}
z ∑ Q ( z ) l n p ( w , z , w ) = m ∑ l n p ( d m ) n ∑ k ∑ q ( z m n k ) l n [ p ( w m n ∣ z k ) p ( z k ∣ d m ) ] ( 4 )
q
(
z
m
n
k
)
q(z_{mnk})
q ( z m n k )
(5)
q
(
z
m
n
k
)
=
p
(
z
k
∣
d
m
,
w
n
;
θ
m
k
,
ψ
k
j
)
=
p
(
d
m
)
θ
m
k
ψ
k
n
∑
k
p
(
d
m
)
θ
m
k
ψ
k
n
q(z_{mnk}) = p(z_k|d_m, w_n; \theta_{mk}, \psi_{kj}) = \frac {p(d_m)\theta_{mk}\psi_{kn}}{\sum_kp(d_m)\theta_{mk}\psi_{kn}} \tag{5}
q ( z m n k ) = p ( z k ∣ d m , w n ; θ m k , ψ k j ) = ∑ k p ( d m ) θ m k ψ k n p ( d m ) θ m k ψ k n ( 5 )
由于文章中总会出现许多重复词，例如文章
d
m
d_m
d m
5
5
5
w
m
1
=
w
m
5
=
w
j
w_{m1}=w_{m5}=w_j
w m 1 = w m 5 = w j
(
4
)
(4)
( 4 )
∑
n
∑
k
q
(
z
m
n
k
)
l
n
[
p
(
w
m
n
∣
z
k
)
p
(
z
k
∣
d
m
)
]
\sum_n \sum_kq(z_{mnk})ln[p(w_{mn}|z_k)p(z_k|d_m)]
∑ n ∑ k q ( z m n k ) l n [ p ( w m n ∣ z k ) p ( z k ∣ d m ) ]
d
m
d_m
d m
∑
j
n
m
j
∑
k
q
(
z
m
j
k
)
l
n
[
p
(
w
j
∣
z
k
)
p
(
z
k
∣
d
m
)
]
\sum_j n_{mj}\sum_kq(z_{mjk})ln[p(w_j|z_k)p(z_k|d_m)]
∑ j n m j ∑ k q ( z m j k ) l n [ p ( w j ∣ z k ) p ( z k ∣ d m ) ]
n
m
j
n_{mj}
n m j
d
m
d_m
d m
w
j
w_j
w j
(
4
)
(4)
( 4 )
(6)
∑
z
Q
(
z
)
l
n
p
(
w
,
z
,
w
)
=
∑
m
l
n
p
(
d
m
)
∑
j
n
m
j
∑
k
q
(
z
m
j
k
)
l
n
(
θ
m
k
ψ
k
j
)
\sum_{\bm z} {Q(\bm z)lnp(\bm w, \bm z, \bm w)} = \sum_mlnp(d_m) \sum_j n_{mj}\sum_kq(z_{mjk})ln(\theta_{mk}\psi_{kj}) \tag{6}
z ∑ Q ( z ) l n p ( w , z , w ) = m ∑ l n p ( d m ) j ∑ n m j k ∑ q ( z m j k ) l n ( θ m k ψ k j ) ( 6 )
(
6
)
(6)
( 6 )
θ
\bm \theta
θ
ψ
\bm \psi
ψ
∑
k
θ
k
m
=
1
\sum_k\theta_{km}=1
∑ k θ k m = 1
∑
j
ψ
k
j
=
1
\sum_j{\psi_{kj}} = 1
∑ j ψ k j = 1
p
(
d
m
)
p(d_m)
p ( d m )
(7)
max
θ
m
k
,
ψ
k
j
∑
m
∑
j
n
m
j
∑
k
q
(
z
m
j
k
)
l
n
(
θ
m
k
ψ
k
j
)
s
.
t
.
∑
k
θ
m
k
=
1
,
m
=
1
,
2
,
3
,
.
.
.
,
M
∑
j
ψ
k
j
=
1
,
k
=
1
,
2
,
3
,
.
.
.
,
K
\begin{aligned} \max \limits_{\theta_{mk}, \psi_{kj}} \quad & \sum_m \sum_j n_{mj}\sum_kq(z_{mjk})ln(\theta_{mk}\psi_{kj}) \\ \bm{s.t.} \quad & \sum_{k}\theta_{mk}=1, m=1,2,3,...,M \\ & \sum_{j} \psi_{kj} = 1, k=1,2,3,...,K \end{aligned} \tag{7}
θ m k , ψ k j max s . t . m ∑ j ∑ n m j k ∑ q ( z m j k ) l n ( θ m k ψ k j ) k ∑ θ m k = 1 , m = 1 , 2 , 3 , . . . , M j ∑ ψ k j = 1 , k = 1 , 2 , 3 , . . . , K ( 7 )
这个带约束的优化目标直接使用拉格朗日乘子法：
(8)
L
(
θ
,
ψ
,
λ
,
α
)
=
∑
m
∑
j
n
m
j
∑
k
q
(
z
m
j
k
)
l
n
(
θ
m
k
ψ
k
j
)
+
∑
m
λ
m
(
1
−
∑
k
θ
m
k
)
+
∑
k
α
k
(
1
−
∑
j
ψ
k
j
)
L(\bm \theta, \bm \psi, \bm \lambda, \bm \alpha) = \sum_m \sum_j n_{mj} \sum_k q(z_{mjk})ln(\theta_{mk}\psi_{kj}) + \sum_m {\lambda_m} (1-\sum_k\theta_{mk}) + \sum_k \alpha_{k} (1-\sum_j {\psi_{kj}}) \tag{8}
L ( θ , ψ , λ , α ) = m ∑ j ∑ n m j k ∑ q ( z m j k ) l n ( θ m k ψ k j ) + m ∑ λ m ( 1 − k ∑ θ m k ) + k ∑ α k ( 1 − j ∑ ψ k j ) ( 8 )
θ
m
k
\theta_{mk}
θ m k
(9)
∂
L
(
θ
,
ψ
,
λ
,
α
)
∂
θ
m
k
=
∑
j
n
m
j
q
(
z
m
j
k
)
θ
m
k
−
λ
m
=
0
λ
m
θ
m
k
=
∑
j
n
m
j
q
(
z
m
j
k
)
\frac{ \partial L(\bm \theta, \bm \psi, \bm \lambda, \bm \alpha)}{\partial \theta_{mk}} = \frac{ \sum_jn_{mj}q(z_{mjk})}{\theta_{mk}} - \lambda_m = 0 \\ \lambda_m \theta_{mk} ={ \sum_jn_{mj}q(z_{mjk})} \tag{9}
∂ θ m k ∂ L ( θ , ψ , λ , α ) = θ m k ∑ j n m j q ( z m j k ) − λ m = 0 λ m θ m k = j ∑ n m j q ( z m j k ) ( 9 )
k
k
k
(10)
λ
m
∑
k
θ
m
k
=
∑
j
n
m
j
∑
z
q
(
z
m
j
k
)
λ
m
=
∑
j
n
m
j
=
N
m
\lambda_m \sum_k \theta_{mk} = \sum_j{n_{mj}} \sum_{z}q(z_{mjk}) \\ \lambda_m = \sum_j {n_{mj}} = N_m \tag{10}
λ m k ∑ θ m k = j ∑ n m j z ∑ q ( z m j k ) λ m = j ∑ n m j = N m ( 1 0 )
N
m
N_m
N m
d
m
d_m
d m
(
10
)
(10)
( 1 0 )
(11)
θ
m
k
=
∑
j
n
m
j
q
(
z
m
j
k
)
N
m
\theta_{mk} = \frac {\sum_j n_{mj}q(z_{mjk})}{N_m} \tag{11}
θ m k = N m ∑ j n m j q ( z m j k ) ( 1 1 )
ψ
k
j
\psi_{kj}
ψ k j
(12)
∂
L
(
θ
,
ψ
,
λ
,
α
)
∂
ψ
k
j
=
∑
m
n
m
j
q
(
z
m
j
k
)
ψ
k
j
−
α
k
=
0
α
k
ψ
k
j
=
∑
m
n
m
j
q
(
z
m
j
k
)
\frac {\partial L(\bm \theta, \bm \psi,\bm \lambda, \bm \alpha)}{\partial \psi_{kj}} = \frac{\sum_m n_{mj}q(z_{mjk})}{\psi_{kj}} - \alpha_k = 0 \\ \alpha_k \psi_{kj} = \sum_m n_{mj}q(z_{mjk}) \tag{12}
∂ ψ k j ∂ L ( θ , ψ , λ , α ) = ψ k j ∑ m n m j q ( z m j k ) − α k = 0 α k ψ k j = m ∑ n m j q ( z m j k ) ( 1 2 )
j
j
j
(13)
α
k
∑
j
ψ
k
j
=
∑
m
∑
j
n
m
j
q
(
z
m
j
k
)
α
k
=
∑
m
∑
j
n
m
j
q
(
z
m
j
k
)
\alpha_k \sum_{j} \psi_{kj} = \sum_m \sum_j n_{mj} q(z_{mjk}) \\ \alpha_k = \sum_m \sum_j n_{mj} q(z_{mjk}) \tag{13}
α k j ∑ ψ k j = m ∑ j ∑ n m j q ( z m j k ) α k = m ∑ j ∑ n m j q ( z m j k ) ( 1 3 )
(
12
)
(12)
( 1 2 )
(14)
ψ
k
j
=
∑
m
n
m
j
q
(
z
m
j
k
)
∑
m
∑
j
n
m
j
q
(
z
m
j
k
)
\psi_{kj} = \frac { \sum_m n_{mj}q(z_{mjk})}{ \sum_m \sum_j n_{mj} q(z_{mjk})} \tag{14}
ψ k j = ∑ m ∑ j n m j q ( z m j k ) ∑ m n m j q ( z m j k ) ( 1 4 )
i
i
i
θ
m
k
i
\theta_{mk}^i
θ m k i
ψ
k
j
i
\psi_{kj}^i
ψ k j i
随机初始化参数
θ
m
k
0
\theta_{mk}^0
θ m k 0
ψ
k
j
0
\psi_{kj}^0
ψ k j 0
开始第
i
∈
[
1
,
2
,
3...
n
]
i\in[1, 2, 3...n]
i ∈ [ 1 , 2 , 3 . . . n ]
q
(
z
m
j
k
)
=
p
(
d
m
)
θ
m
k
i
−
1
ψ
k
j
i
−
1
∑
k
p
(
d
m
)
θ
m
k
i
−
1
ψ
k
j
i
−
1
q(z_{mjk})=\frac {p(d_m)\theta_{mk}^{i-1}\psi_{kj}^{i-1}}{\sum_kp(d_m)\theta_{mk}^{i-1}\psi_{kj}^{i-1}}
q ( z m j k ) = ∑ k p ( d m ) θ m k i − 1 ψ k j i − 1 p ( d m ) θ m k i − 1 ψ k j i − 1
θ
m
k
i
=
∑
j
n
m
j
q
(
z
m
j
k
)
N
m
ψ
k
j
i
=
∑
m
n
m
j
q
(
z
m
j
k
)
∑
m
∑
j
n
m
j
q
(
z
m
j
k
)
\theta_{mk}^i = \frac {\sum_j n_{mj}q(z_{mjk})}{N_m} \\ \psi_{kj}^i = \frac { \sum_m n_{mj}q(z_{mjk})}{ \sum_m \sum_j n_{mj} q(z_{mjk})}
θ m k i = N m ∑ j n m j q ( z m j k ) ψ k j i = ∑ m ∑ j n m j q ( z m j k ) ∑ m n m j q ( z m j k ) a继续迭代
输出模型参数
θ
\bm \theta
θ
ψ
\bm \psi
ψ
从上边的式子来看pLSA是相对比较容易实现的，但是高效地实现还需要一些技巧。首先看式(14)的分母，存在一个二阶求和的过程，如果语料库中有1000篇文档，10000个词，那么就要进行一千万次运算，这样显然必须要用并行批量计算的方式来加速，在实现上我们会将涉及的所有运算都转换为矩阵运算，这样就可以通过成熟的GPU库来加速运算。其次再看内存消耗问题，
q
(
z
m
j
k
)
q(z_{mjk})
q ( z m j k ) m*j*k个参数，如果有1000篇文档10000个词和50个主题，那么
q
(
z
m
j
k
)
q(z_{mjk})
q ( z m j k ) 5亿个元素，这在内存消耗上是不可接受的，在实现上我们只会在批量计算
θ
m
k
\theta_{mk}
θ m k
ψ
k
j
\psi_{kj}
ψ k j
q
(
z
m
j
k
)
q(z_{mjk})
q ( z m j k ) pLSA实现
pLSA是概率隐语义主题模型中相对简单的一种，推导和实现都相对简单，回头看上面的算法过程，实际上只需要简单地计数迭代而已，所以pLSA非常适合在线学习。其实并非pLSA有此特点，事实上大多数生成模型都一样适合在线学习。不过pLSA的缺点也是非常明显的，pLSA将文章建模时没有考虑文章词序 ，也就是我们随机将一篇文章词打散，对于pLSA来说，其联合概率
p
(
w
,
z
,
d
)
p(\bm w, \bm z, \bm d)
p ( w , z , d )
(
2
)
(2)
( 2 ) 有研表究明，汉字的序顺并不能影阅响读 。不过pLSA近年来正在逐渐被更新颖复杂的LDA代替，但相对LDA来说pLSA结构简单，容易做大规模并行化，所以时至今日，pLSA在大规模文本挖掘领域依旧光耀夺目。
最后，向Thomas Hofmann先生致敬，感谢先生为我们带来如此精妙的pLSA主题模型。
[1] Probabilistic Latent Semantic Analysis Tutorial on Probablistic Latent Semantic Analysis
