SVM

0. 最优化引论

* lagrange函数

* 对偶函数

* 强对偶条件

* KKT条件

* 满足kkt条件的不等式约束，也可以使用Lagrange乘子法，求极值

2. SVM基础概念

2.1 分割超平面

• 设C和D是两个不相交的凸集，则存在超平面P，P可以将C和D分离；

• 两个集合的距离：两个集合间元素的最短距离；即集合C和集合D最短线段的垂直平分线

* 问题

* 输入数据

* 基本SVM概念

3. 线性可分支持向量机

* 设给定线性可分训练数据集，可以通过间隔最大化得到的分离超平面

$y(x)=w^T\Phi(x)+b$

• 决策函数：(决策函数称为线性可分支持向量机)

$f(x)=sign(w^T\Phi(x)+b)$

其中：$\Phi$是某个确定的特征空间转换函数；最直接：$\Phi(x)=x$

* 符号

* SVM示意图

• 线性可分支持向量机

• 使用高斯核，解决线性不可分情况

3.1 函数间隔和几何间隔

* 函数间隔

• 对于给定的训练数据集T和超平面(w,b)； 超平面(w,b)关于样本点$(x_i,y_i)$的函数间隔为：（关于点的函数间隔）

$\hat{\gamma}_i=y_i(wx_i+b)$

其中：在超平面$wx+b=0$确定的情况下，$|wx+b|$能够相对的表示点x距离超平面的远近；$wx+b$ 的符号与类标记y的符号是否一致表示分类是否正确；

$y(wx+b)$表示分类的正确性和确信性

• 超平面(w,b)关于样本集合T的函数间隔为，$\gamma_i$中的最小值

$\hat{\gamma}=\min\limits_{i=1,..,N}\hat{\gamma}_i$

• 缺陷

* 几何间隔

* 和函数间隔的关系

4 SVM的目标函数的建立

5 碎碎念

* 基本思想

支持向量机学习的基本想法：求解能够正确划分训练数据集并且集合间隔最大的分离超平面；几何间隔最大的超平面唯一（线性可分分离超平面）

* 求解超平面：$wx+b=0$

* 函数间隔

* 几何间隔

• 间隔最大化的解释：

• 间隔最大化的解释：