NMF：非负矩阵分解

1. NMF的定义

• 非负的大矩阵分解为两个非负的小矩阵

$V\approx WH$

• 建模：（约束优化问题）

$\min\limits_{W,H} f(W,H)=\frac{1}{2}\sum\limits_{i=1}^n\sum\limits_{j=1}^m(W_{ij}-(WH)_{ij})^2$

subject.to. $\ \ \ \ W_{ia}\geq 0,H_{bj}\geq 0$

2. NFM的优化算法

• 乘法算法
• 梯度下降
• 交替最小二乘
• 拟牛顿
• 多层分解

3. ALS 交替最小二乘

• 最早用于NMF的分解，所以也称为交替非负最小二乘

• 为了克服稳定性差的特点：添加正则项(L2正则)

3.1 ALS的证明和求解

• 参考<张贤达：矩阵>P371