PCA

样本投影方向：最大方差

0 引论

0.1 矩阵论

实对称阵:实对称矩阵的不同特征值对应的特征向量一定正交
正交矩阵

$Q^TQ=QQ^T=I$

$Q^T=Q^{-1}$

$Q=[q_1,...,q_n]的列组成标准正交积$

合同矩阵

设A是n阶对称矩阵，则必有正交矩阵p，

$P^{-1}AP=P^TAP=\Lambda$

相似矩阵 $P^{-1}AP=B$

0.2 概率方法

协方差=随机变量的变化趋势

$c_{ij}=E\{[X_i-E(X_i)][X_j-E(X_j)]\}=Cov(X_i,X_j)$

Cov(x,y)>0 => x和y变化趋势相同
Cov(x,y)=0 => x和y不相关
Cov(x,y)<0 ==""> x和y变化趋势相反

1. PCA定义(样本点投影的方差最大)

特征的相关性
将多个特征综合为少数特征
主成分分析

1.1 原理推导

设n个特征的m个样本， $矩阵A\in R^{m*n}$

$\begin{equation} A=\left[ \begin{matrix} a_{11}&a_{11}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \vdots&\vdots&\vdots&\vdots\\ a_{m1}&a_{m2}&\cdots&a_{mn}\\ \end{matrix} \right]=\left[ \begin{matrix} a_{1}^T\\ a_2^T\\ \vdots\\ a_m^T \end{matrix} \right] \end{equation}$

=>设单位向量u(u的摸是1)

$\begin{equation} A=\left[ \begin{matrix} a_{11}&a_{11}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \vdots&\vdots&\vdots&\vdots\\ a_{m1}&a_{m2}&\cdots&a_{mn}\\ \end{matrix} \right]*u=\left[ \begin{matrix} a_{1}^T\\ a_2^T\\ \vdots\\ a_m^T \end{matrix} \right]*u=\left[ \begin{matrix} a_{1}^T*u\\ a_2^T*u\\ \vdots\\ a_m^T*u \end{matrix} \right] \end{equation}$

为了得到向量Au，求向量的方差（设Au是去均值化的，即每个数据减去每列计算得到的均值，如此得，E(Au)=0）

$Var(Au)=Var(a_1^Tu,...,a_m^Tu)^T=\sum\limits_{i=1}^m(a_i^Tu-E(Au))$

上式：是协方差矩阵，且 $E(Au)=0$

$上式=\begin{equation} \left[ \begin{matrix} a_1^Tu & a_2^Tu,...,a_m^Tu\\ \end{matrix} \right]*\left[ \begin{matrix} a_{1}^Tu\\ a_2^Tu\\ \vdots\\ a_m^Tu \end{matrix} \right]=(Au)^T(Au)=u^TA^TAu \end{equation}$

令方差为 $\lambda$ :

$u^TA^TAu=\lambda$

=> $uu^TA^TAu=u\lambda$

=> $A^TAu=\lambda u$

( $A^TA即为协方差矩阵$ )

1.2 pca的解释

$A^TAu=\lambda u$

A中的列向量取均值化
$A^TA$ 是协方差矩阵
u是 $A^TA$ 的特征向量
$\lambda$ 的值大小为原始观察数据的特征在向量u方向的投影值得方差

1.3 个数的选择

设 $\lambda_1,\lambda_2,...,\lambda_n$ 表示 $\Sigma$ 的特征值(由大到小), 其中： $\lambda_i$ 是 $u_i$ 的特征值，保留k个主要成分,保留百分比

$\frac{\sum\limits_{j=1}^k\lambda_j} {\sum\limits_{j=1}^n\lambda_j}$

2. PCA的解释

降低数据维度，使得降低了维度的数据之间的方差最大

* 符号定义

数据集合 $\{x_n\},x_n是D维的欧式空间的变量$ ， $n=1,..,N$ ；目标：将数据投影到 $M<D$ 的空间中，同时最大化投影数据的方差
设单位向量： $u_1^Tu_1=1$
数据 $x_n$ 被投影到 $u_1^Tx_n$ 上
数据的平均值： $\overline{x}=\frac{1}{N}\sum\limits_{i=1}^Nx_n$
投影后的平均值： $u_1^T\overline{x}$

投影数据的方差：

$\frac{1}{N}=\sum\limits_{i=1}^N\{u_1^Tx_n-u_1^T\overline{x}\}=u_1^TSu_1$

其中： $S$ 是数据的协方差矩阵：

$S=\frac{1}{N}\sum\limits_{i=1}^N(x_n-\overline{x})(x_n-\overline{x})^T$

2.1 最大化方差法

最大化数据的方差：

$u_1^TSu_1$

最大化中需要防止： $u->+\infty$ ,限制条件： $u_1^Tu_1=1$

=>拉格朗日函数：

$u_1^TSu_1+\lambda_1(1-u_1^Tu_1)$

=>求导后，驻点： $Su_1=\lambda_1u_1$

=>表明 $u_1$ 一定是S的一个特征向量：

=> $u_1^TSu_1=u_1^T\lambda_1u_1=\lambda_1$

将 $u_1$ 设置为与具有最大的特征值 $\lambda_1$ 的特征向量相等时，方差会达到最大值=>这个特征是第一主成分
同理推广到 $u_1,..,u_M$

2.2 最小化误差

基于最小误差的投影
设：D维基向量的单位正交集合 $\{u_i\}$

$u_i^Tu_i=\delta_{ij}$

数据表示为: $x_n=\sum\limits_{i=1}^Da_{ni}u_i$

其中： $a_{nj}=x_n^Tu_j$

使用M<D维的变量来表示近似数据点

$\overline{x}_n=\sum\limits_{i=1}^M z_{ni}u_i+\sum\limits_{i=M+1}^D b_iu_i$

设置损失函数

$J=\frac{1}{N}\sum\limits_{n=1}^N ||x_n-\overline{x}_n||^2$

=> $J=\sum\limits_{i=M+1}^D u_i^TSu_i$

J的拉格朗日函数：

$J=u_2^TSu_2+\lambda_2(1-u_2^Tu_2)$

=>驻点： $Su_i=\lambda_iu_i$

=> $J=\sum\limits_{i=M+1}^D\lambda_i$

PCA

PCA