概率论

1. 条件概率

条件概率

$P(A|B)=\frac{P(AB)}{P(B)}$

全概率

$P(A)=\sum\limits_{i}P(A|B_i)P(B_i)$

贝叶斯

$P(B_i |A)=\frac{P(A|B_i)P(B_1)}{\sum\limits_i P(A|B_i)P(B_i)}$

2. 概率分布

CDF:累计分布函数
PDF：概率密度

* 两点分布（0-1分布）

$x=1$ $p=p$
$x=0$ $q=1-p$
$E(X)=1*P+0*(1-P)=P$
$D(X)=E(X^2)-(E(X))^2=pq$

* 二项分布

$P(x)=k= \displaystyle C_n^k p^k(1-p)^{n-k}；其中k=0,1,2,...$
$E(x)=np$
$D(x)=np(1-p)npq$

* 均匀分布

$X - U(a,b)$ ，其概率密度
$\begin{equation} f(x)= \left\{ \begin{aligned} \frac{1}{b-a} ......x\in(a,b)\\ 0 ......其他\\ \end{aligned} \right. \end{equation}$
$E(X)= \displaystyle \int_{-\infty}^{+\infty} xf(x)dx=\int_a^b\frac{1}{b-a}xdx=\frac{1}{2}(a+b)$
$D(X)=E(X^2)-[E(X)]^2= \displaystyle\frac{(b-a)^2}{12}$

* 正态分布

$X - N(\mu,\sigma^2)$
$f(x)=\displaystyle \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$
$E(x)=\mu$
$D(x)=\sigma^2$

3 期望

* 离散型

$E(x)=\displaystyle \sum\limits_ix_iP_i$

* 连续型

$E(x)=\displaystyle \int _{-\infty}^{+\infty} xf(x)dx$

* 期望性质

$E(kX)=kE(X)$
$E(X+Y)=E(X)+E(Y)$
若X和Y相互独立： $E(XY)=E(X)E(Y)$

4. 方差

定义

$Var(X)=E[x-E(X)]^2$

独立性(X和Y独立)

$Var(X+Y)=Var(X)+Var(Y)$

* 协方差

定义

$Cov(X,Y)=E[X-E(X)][Y-E(Y)]$
性质

$Cov(X,Y)=E(XY)-E(X)E(Y)$
相关性
$Cov(X,Y)>0$ ：X和Y有相同的变化趋势
$Cov(X,Y)<0$ ：X和Y有相反的变化趋势
$Cov(X,Y)=0$ ，则不相关

* 相关系数

$\rho_{XY}=\displaystyle \frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$

5. 统计量

样本均值： $\overline{X}=\displaystyle \frac{1}{n}\sum\limits_{i=1}^nX_i$
样本方差： $S^2=\displaystyle \frac{1}{n-1}\sum\limits_{i=1}^n(X_i-\overline{X})^2$
k阶样本矩
k阶样本中心矩

6. 最大似然估计

设总体分布 $f(x,\theta)$ ； $X_1,...,X_n$ 是该分布总体采样得到的样本，因为 $X_1,...,X_n$ 独立同分布，联合函数密度是

$L(x_1,...,x_n;\theta_1,...,\theta_k)=\sum\limits_{i=1}^nf(x_i;\theta_1,...,\theta_k)$

$\theta$ 是恒定未知参数
设：因为样本存在，将 $x_1,...,x_n$ 视为固定， $L(x;\theta)$ 是关于 $\theta$ 的函数：称为似然函数
参数求解，是得似然函数关于参数，取得最大值

$log L(\theta_1,...,\theta_k)=\sum\limits_{i=1}^n log f(x_i;\theta_1,...,\theta_k)$

$\displaystyle \frac{\partial L(\theta)}{\partial \theta_i}= 0$ $\ \ \ \ \ \ \ \ \ i=1,2,3...,k$

7 参数估计的评价

* 无偏性

$E(\hat{\theta}) = \theta$

* 均方误差原则

$MSE(\hat{\theta})=E[(\hat{\theta}-\theta)^2]$

若 $\hat{\theta}$ 是无偏估计，则MSE是方差

$MSE(\hat{\theta})=E[(\hat{\theta}-\theta)^2]=Var(\hat{\theta})$

概率

概率论