线性支持向量机和软间隔最大化

• 对于线性可分问题，线性svm算法支持向量机的学习（硬间隔最大化）；
• 对于线性不可分，即样本有噪声或者异常点
• 软间隔最大化

* 线性支持向量机

• 修改硬间隔为软间隔

* 数据建模

• 线性不可分，意味着存在特异点，不满足(7-14)

• 引入松弛变量：为每个$(x_i,y_i)$引入松弛变量：$\xi_i\geq 0$

• 约束条件变为：

$y_i(wx_i+b)\geq1-\xi_i$

• 目标函数，对每个松弛变量$\xi_i$，支持代价$\xi_i$

$\frac{1}{2}||w||^2+C\sum\limits_{i=1}^N\xi_i$

其中：C有应用决定；C值大，对误分的惩罚增大；

• 目标函数的意义：

  1. 使$\frac{1}{2}||w||^2尽量小，间隔尽量大$
  2. 使误分点个数尽量少
  3. C调和二者系数

* 最终模型

• 线性不可分的支持向量机学习问题：

* 线性支持向量机

2. 对偶学习算法

2.1 对偶问题

2.2 求解对偶问题

2.4 算法总结

2.5 支持向量

3. 合页损失函数解释

* hinge损失函数

• 损失函数对于超过[-1,1]内部的点也是有惩罚项的

* 算法总结

* 解释

* 　线性可分SVM通过软间隔最大化，可以解决线性数据集带有异常点时的分类处理，但是现实生活中的确有很多数据不是线性可分的，这些线性不可分的数据也不是去掉异常点就能处理这么简单。那么SVM怎么能处理中这样的情况呢？我们在下一篇就来讨论线性不可分SVM和核函数的原理。