逻辑回归

1. 逻辑回归的定义

• 针对0-1型变量产生的问题，我们需要对回归模型改进

* 解释

* 针对因变量只可以取$\ 0，1 \ $的问题，需要改进回归模型

第一方面

• 因变量只取0-1两个离散变量，不适合直接应用回归模型
• 回归模型：$E(y_i)=\pi_i=\beta_0+\beta_1 x_1 \ $； 表示：自变量$x_i$的条件下$y_i$的平均值
• 逻辑回归模型：$y_i \ $是$\ 0-1 \ $变量, $E(y_i)=\pi_i$表示自变量$x_i$条件下，$y_i$等于1的概率
• 使用$y_i=1$的概率来代替$y_i$本身做因变量

第二方面

• 对于0-1变量，回归函数应该限制在[0,1]区间的连续曲线，不能再使用直线；
• 限制的曲线很多，这里选择logistic函数
• $f(x)=\frac{e^x}{1+e^x}=\frac{1}{1+e^{-x}}$ (增函数)

2 广义线性模型

• 指数簇->广义线性模型->符合指数簇分布的随机变量，都可以用广义线性模型GLM分析

• 连接函数：不同指数簇分布的通过不同的连接函数改变：（连接函数，单调可导）

  1. 恒等连接函数：$g(u)=u$:正态分布下的连接函数
  2. 对数：$g(u)=ln(u)$
  3. logit：$g(u)=ln\frac{u}{1-u}$;将预测值控制在0~1之间。

* 逻辑回归的本质

• 逻辑回归的本质是线性回归（GLM模型下），只是特征到结果的映射中加入了一层函数映射
• 将y的值通过logist函数规划到0~1之间，y的含义是：表示结果取1得概率

3. 逻辑回归定义

• logist函数：

$g(z)=\frac{1}{1+e^{-z}}$

$h_{\theta}=\frac{1}{1+e^{-\theta^{T}x}}$

• 对数几率：该事件发生的概率与该事件不发生的概率的比值

$p(y=1|x;\theta)=h_{\theta}(x)$

$p(y=0|x;\theta)=1-h_{\theta}(x)$

• 通过连接函数，成立线性关系：

$log it(p)=log \frac{p}{1-p}=log\frac{h_{\theta}(x)}{1-h_{\theta}(x)}=log\frac{\frac{1}{1+e^{-w^Tx}}}{\frac{e^{-w^Tx}}{1+e^{-w^Tx}}}=w^Tx$

* 逻辑回归求解

$p(y=1|x;\theta)=h_{\theta}(x)$

$p(y=0|x;\theta)=1-h_{\theta}(x)$

=>

$p(y|x;\theta)=(h_{\theta}(x))^y(1-h_{\theta(x)})^{(1-y)}$

=>似然函数：

$L(\theta)=\prod\limits_{i=1}^m p(y^{(i)}|x^{(i)};\theta)$

$=\prod\limits_{i=1}^m (h_{\theta}(x^{(i)}))^{y(i)}(1-h_{\theta}(x^{(i)}))^{1-y^{(i)}}$

=>对数似然函数：

$l(\theta)=logL(\theta)$

$=\sum_{i=1}^m y^{(i)}log h(x^{(i)})+(1-y^{(i)})log(1-h_{\theta}(x^{(i)}))$

=>求导：$\frac{\partial l(\theta)}{\partial\theta_j}=(y-h_{\theta}(x))x_j$

* 优化算法参数求解

• 梯度下降：logistic参数迭代：

$\theta_j := \theta_j+\alpha(y^{(i)}-h_{\theta}(x^{(i)}))x_j^{(i)}$

* 预测

• 带入

$p(y=1|x; \hat{\theta})=h_{\hat{\theta}}(x)$

$p(y=0|x;\hat{\theta})=1-h_{\hat{\theta}}(x)$

碎碎念

• 逻辑回归的目标函数：最大似然函数

进一步解释

* sigmoid函数

* 一个事件发生的几率：该事件发生和不发生的概率的比值

* 对数几率

* 损失函数

• LR是分类模型，由条件概率分布$P(Y|X)$表示，随机变量x取实数，随机变量Y取0-1，通过监督学习的方法来学习参数

* 扩充为向量

* 优化算法求解

• 使用梯度下降或者牛顿法

* 学习后的模型

* 特点

• LR模型：是该事件发生，即Y=1的对数几率，是输入x的线性函数。

* 目标函数：最大似然函数

* 希望的形状

* 损失函数采用最大似然

* 添加正则

继续解释

* 损失函数直接平方误差

多项逻辑回归

参考

逻辑回归定义

七种回归技术