SVM-非线性支持向量机
- 针对非线性分类问题
1. 核技巧
- 非线性可分：需要使用超曲面将正负样本分开的问题，是非线性可分问题
- 非线性问题难以求解，通过变换转换为线性问题
* 策略
- 首先，使用变换将原空间的数据映射到新空间
- 然后，在新空间用线性分类学习方法，从训练数据中学习分类模型
1.1 核函数
- 核函数技巧：在学习预测中只定义了核函数,而不是显示的定义映射函数：
- 直接计算容易，通过不容易
1.2 svm中的核技巧
* 需要先验知识，才可以获取核函数
- 上述等价于，经过映射函数，将原来的输入空间变换到一个新的特征空间
- 将输入的转换为
在k(x,z)给定的条件下，在新的空间里，学习线性支持向量机
学习是隐式的在特征空间完成，不需要显示的定义特征空间和映射函数
核函数需要先验知识
2. 正定核
2.1 希尔伯特空间
https://www.zhihu.com/question/19967778
- 线性空间的本质：矩阵代数里的抽象集合表示，线性映射或线性变换反映线性空间的基本线性关系
现代数学的一个特点就是以集合为研究对象，这样的好处就是可以将很多不同问题的本质抽象出来，变成同一个问题，当然这样的坏处就是描述起来比较抽象，很多人就难以理解了。
从数学的本质来看，最基本的集合有两类：线性空间（有线性结构的集合）、度量空间（有度量结构的集合）。
* 基
- 对线性空间而言，主要研究集合的描述，直观地说就是如何清楚地告诉地别人这个集合是什么样子。为了描述清楚，就引入了基（相当于三维空间中的坐标系）的概念，所以对于一个线性空间来说，只要知道其基即可，集合中的元素只要知道其在给定基下的坐标即可。
* 赋范线性空间
- 但线性空间中的元素没有“长度”（相当于三维空间中线段的长度），为了量化线性空间中的元素，所以又在线性空间引入特殊的“长度”，即范数。赋予了范数的线性空间即称为赋犯线性空间。
* 内积空间
- 但赋范线性空间中两个元素之间没有角度的概念，为了解决该问题，所以在线性空间中又引入了内积的概念。
* 希尔伯特空间
- 因为有度量，所以可以在度量空间、赋范线性空间以及内积空间中引入极限，但抽象空间中的极限与实数上的极限有一个很大的不同就是，极限点可能不在原来给定的集合中，所以又引入了完备的概念，完备的内积空间就称为Hilbert空间。
- 定义了内积和范数
* 完备性
- cauchy序列：随着序数的增加而愈发靠近
- 完备空间中所有的柯西序列都有极限
- 所有点都在空间内
2.2 正定核
2.3 常用核函数
3. 非线性支持向量机
* 分类决策函数
碎碎念
