正则化

正则化和稳定性

• RLM(正则损失最小化)

• 正则化规则：$A(s)=arg\min\limits_w(L_s(w)+\lambda||w||^2)$

* 稳定性

• 若算法输入的一个小的变化不会太多的改变算法的输出，称算法稳定

• 正则化的方法是稳定的，可以作为稳定剂

• condition number是稳定性的度量

• 算法稳定，就不会过拟合

L1正则化

http://blog.csdn.net/zouxy09/article/details/24971995 http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#86d03bd30d14d5172a9ff0865cea33353abe0a54 https://www.zhihu.com/question/48474480

• $J_L(w)=\min\limits_w\{\frac{1}{n}||y-Xw||^2+\lambda||w||_1\}$

=>等价于(转化为约束优化问题)

• $\min\limits_w \frac{1}{n}||y-Xw||^2$, $\ \ \ \$ s.t. $||w||_1\leq C$

* L1 正则化的优点

• 特征选择
• 可解释性
• 防止过拟合

L2正则化：防止过拟合

• 学习理论：防止过拟合，提高泛华
• 提高稳定性 (改变condi number)
• 通过L2正则变成强凸函数（加快速度）

L1和L2

• L1速度更快
• L1有特征选择的性质
• L2更稳定(强凸函数)

L1正则的求解方法

• Proximal Gradient Decent
• OWL-QN
• ISTA
• FIST
• ADMM

lasoo的求解方法

• 坐标下降
• LARS
• shooting
• proximal and projected gradinet method(大规模问题)
• ISTA
• FISTA
• ADMM