PLSA(概率潜语义分析)

• 通过添加主题的方式：解决：

  1. 一词多义：一个词被映射到多个主题
  2. 多次一义： 多个次被映射到某个主题

1. plsa的推导

• D是文档；Z是主题；W是观察到的单词 *$p(d_i)$:单词出现在文档$d_i$的概率
• $p(z_k|d_i)$:文档$d_i$出现主题$z_k$的概率
• $p(w_j|z_k)$:给定主题词$z_k$出现单词$w_j$的概率

=>

• 每个主题在所有词项上服从多项分布；每个文档在多有主题上服从多项分布；

=>文档生成过程：

• 以$p(d_i)$的概率选中文档$d)i$
• 以$p(z_k|d_i)$的概率选中主题$z_k$
• 以$p(w_j|z_k)$的概率产生一个单词$w_j$

=>观察到的数据是:$(d_i,w_j)$，即(文档，单词)；主题$z_k$是隐含变量

• $(d_i,w_j)$的联合分布是：

$p(d_i,w_j)=p(w_j|d_i)p(d_i)$

$p(w_j|d_i)=\sum\limits_{k=1}^K p(w_j|z_k)p(z_k|d_i)$

其中：$p(w_j|z_k)$,$p(z_k|d_i)$对应了两组多项分布，需要去估计参数；

2. PLSA使用EM算法估计参数

• 需要去估计参数的分布是：$p(z_k|d_i)$； $p(w_j|z_k)$

2.1 极大似然函数

• 其中： $n(d_i,w_j)$:表示$w_j$在$d_i$中出现的次数
• i:文本个数；j：单词个数
• K:主题的个数

$L=\prod\limits_{i=1}^N \prod\limits_{j=1}^M p(d_i,w_j)$ $=\prod\limits_{i=1}^N \prod\limits_{j=1}^M p(d_i,w_j)^{n(d_i,w_j)}$

=>

$l=\sum\limits_{i=1}^N \sum\limits_{j=1}^M n(d_i,w_j)log p(d_i,w_j)$

$=\sum\limits_{i=1}^N \sum\limits_{j=1}^M n(d_i,w_j)log p(w_j|d_i)p(d_i)$

$=\sum\limits_{i=1}^N \sum\limits_{j=1}^M n(d_i,w_j)log(\sum\limits_{k=1}^Kp(w_j|z_k)p(z_k|d_i))p(d_i)$

$=\sum\limits_{i=1}^N \sum\limits_{j=1}^M n(d_i,w_j)log(\sum\limits_{k=1}^Kp(w_j|z_k)p(z_k|d_i)p(d_i))$

2.2 目标函数建模

• 已知: 观测数据$(d_i,w_j)$,主题$z_k$是隐含变量

• 目标函数：

  $l=\sum\limits_{i=1}^N \sum\limits_{j=1}^M n(d_i,w_j)log(\sum\limits_{k=1}^Kp(w_j|z_k)p(z_k|d_i)p(d_i))$

• 未知变量：$p(w_j|z_k)$; $p(z_k|d_i)$

2.3 求解策略

• EM算法
• E步：假设$p(z_k|d_i)$和$p(w_j|z_k)$已知(初始化随机赋值) 求隐含变量$z_k$的后验概率

$p(z_k|d_i,w_j)=\frac{p(w_j|z_k)p(z_k)}{\sum\limits_{l=1}^kp(w_j|z_l)p(z_l|d_i)}$

• M步：最大化对数似然函数的期望：

$l_{new}=(\sum\limits_i\sum\limits_jn(d_i,w_j)log p(w_j|d_i))$

=>期望:

$E(l_{new})=\sum\limits_i\sum\limits_jn(d_i,w_j)\sum\limits_{k=1}^Kp(z_i|d_i,w+j)log p(d_j,z_k|d_i)$

$=\sum\limits_i\sum\limits_jd(d_i,w_j)\sum\limits_{k=1}^Kp(z_k|w_i,w_j)log p(w_j|z_k)p(z_k|d_i)$

=>期望最大化

$\theta:=arg \max\limits_{\theta}E(l_{new})$

2.4 最大期望的求解

$E=\sum\limits_i\sum\limits_jd(d_i,w_j)\sum\limits_{k=1}^Kp(z_k|w_i,w_j)log p(w_j|z_k)p(z_k|d_i)$

$s.t. \ \ \begin{equation} \left\{ \begin{aligned} \sum\limits_{j=1}^M p(x_j|z_k) &= 1 \\ \sum\limits_{k=1}^K p(z_k|d_i) &= 1\\ \end{aligned} \right. \end{equation}$

• 求解Lagrange函数： $Lag=\sum\limits_i\sum\limits_jd(d_i,w_j)\sum\limits_{k=1}^Kp(z_k|w_i,w_j)log p(w_j|z_k)p(z_k|d_i)$ $+\sum\limits_{k=1}^k\alpha_k(1-\sum\limits_{j=1}^Mp(w_j|z_k))$ $+\sum\limits_{i=1}^M\beta_i(1-\sum\limits_{k=1}^Kp(z_k|d_i))$

• 求驻点

$\frac{\partial{Lag}}{\partial p(w_j|z_k)}=0$

$\frac{\partial{Lag}}{\partial{p(z_k|d_i)}}=0$

2.5 最终求解表达式

• E-step:

$p(z_k|d_i,w_j)=\frac{p(w_j|z_k)p(z_k)}{\sum\limits_{l=1}^kp(w_j|z_l)p(z_l|d_i)}$

• M-step:

$\ \ \begin{equation} \left\{ \begin{aligned} p(w_j|z_k)&= \frac{\sum\limits_i n(d_i,w_j)p(z_k|d_i,w_j)}{\sum\limits_{m=1}^M \sum\limits_i n(d_i,w_j)p(z_k|d_i,w_j)} \\ \\ \\ p(z_k|d_i)&=\frac{\sum\limits_jn(d_i,w_j)p(z_k|d_i,w_j)}{\sum\limits_{k=1}^k \sum\limits_j n(d_i,w_j)p(z_k|d_i,w_j)} \\ \end{aligned} \right. \end{equation}$

参考资料

http://blog.csdn.net/pipisorry/article/details/42560877