广义线性模型

1. 指数组分布

http://www.csuldw.com/2016/01/12/2016-01-12-Newton-Method/

* 指数族分布的定义

• 可以表示为指数形式的概率分布

$P(y;\eta)=b(y)exp(\eta^TT(y)-a(\eta))$

$\eta$ 是自然参数，当a,b,T 固定，则为$\eta$的参数函数族

1.1 二项分布的推导

• 伯努利分布是对0/1建模，对于$B(\varphi) \ \ \ \ $ $y\in (0,1)$

有：

$p(y=1;\varphi)=\varphi$

$p(y=0;\varphi)=1-\varphi$

=>推导指数分布族的形式

$p(y;\varphi)=\varphi^y (1-\varphi)^{1-y}$
$=exp(log(\varphi^y (1-\varphi)^{1-y}))$
$=exp(ylog\varphi+(1-y)log(1-\varphi))$

$=exp(ylog\frac{\varphi}{1-\varphi}+log(1-\varphi))$

=>

$b(y)=1$

$T(y)=y$

$\eta=log\frac{\varphi}{1-\varphi}$

$a(\eta)=-log(1-\varphi)$

=>

$\eta$的形式和logstic函数一样，logistic函数的概率就是伯努利分布

=>结论

伯努利指数分布族中，$\eta$和$\varphi$满足logistic函数

* 连接函数：$g(u)=\displaystyle lg \frac{u}{1-u}$

1.2 正态分布

=>

高斯分布指数族函数中，$\eta$和参数$\varphi$相等

* 连接函数：$g(u)=u$

* 其他分布

2. 广义线性模型(GLM)

指数分布族函数，$\eta$以不同的映射函数和其概率分布函数中的参数发生联系，从而得到不同的模型，广义线性模型将指数分布族中的所有成员作为线性模型的扩展，通过各种连接函数，将线性函数映射到不同的空间，扩展了线性模型的规模

2.1 连接函数(单调可导)

• 原始的线性方程（描述平均意义下y和x的统计规律）

$E(Y)=\varphi=\sum\limits_{k=1}^K \beta_kx_k$

• 广义线性模型:

  $E(Y)=\eta=\sum\limits_{k=1}^K\beta_kx_k$

• $\eta和\varphi$满足连接函数

正态分布：恒等：$\eta=\varphi$

logit模型：$\eta=log\frac{\varphi}{1-\varphi}$

对数字：泊松模型： $\eta=log\varphi$

3. GLM的碎碎念

• 广义线性模型是线性模型的推广
• 随机误差不一定是服从正态分布
• 引入连接函数
• 逻辑回归就是，使用$logit$连接函数， $Y$ 服从二项分布；
• 采用正态分布得到，最小二乘的线性模型；
• 使用伯努利分布得到，逻辑回归模型

* 连接函数

• 因变量和自变量通过连接函数产生影响
• 连接函数; 单调，可导