机器学习
1. 学习算法
- mitchell(1997)提供定义：对于某类任务T和性能度量P，一个计算机程序被认为可以从经验E中学习，是指，通过经验E改进后，它在任务T上由性能连量度P衡量的性能有所提升
2. 任务,T
- 机器学习解决：人为设计和固定实现很难解决的问题，定义为该如何处理样本
* 常见分类任务：
- 分类
- 输入缺失分类
- 回归
- 转录
- 机器翻译
- 结构化输出
- 异常检测
- 合成和采样
- 缺失值填补
- 去燥
- 密度估计和概率分布函数估计
3. 性能度量，P
- 准确率
- 错误率
4. 经验，E
- 学习过程的经验不同，分为：无监督学习和有监督学习
- 半监督学习
- 强化学习
5. 容量，过拟合和欠拟合
- 泛化能力：在先前为观测到的输入上表现良好
* 训练误差
- 训练集上的误差
* 泛化误差
- 也称为：测试误差
* 关系
* 只能观测到训练集，如何消除测试集的影响？
- 若训练集和测试集的收集有假设，则通过机器学习理论可以对算法做改进
- 数据集合的样本是独立同分布，数据之间彼此相互独立
- 实际过程：
挑选参数去降低训练误差，然后在测试集上测试；这个过程：测试误差期望会大于等于训练误差期望。机器学习算法的效果影响因素
降低训练误差
缩小训练误差和测试误差的差距太大
* 欠拟合和过拟合
- 欠拟合：模型不能降低训练误差
- 过拟合：训练误差和测试误差的差距太大
* 通过调整容量(capacity)，控制是否偏向于过拟合或者欠拟合
5.1 奥姆剃刀
- 在所有解决问题的假设中，挑选最简单的一个
* 衡量容量的方法
- VC维：度量二维分类器的容量：定义为该分类器能够分类的训练样本的最大个数
* 没有免费误差
- 没有最优的机器学习算法，
* 正则化
- 正则化项：权重衰减；指降低泛化误差，而不是训练误差的修正
5.2 超参数
- 交叉验证的方法
- 数据集合分为：测试集和序列集
5.3 参数估计
最大似然估计
最大后验估计
贝叶斯估计
5.4 监督学习算法
5.5 非监督学习算法
5.6 随机梯度下降
5.7 深度学习的优势
传统学习算法在AI上的泛华能力不行
在高纬度的数据时，泛化能力编差；设计巨大的学习代价
5.8 维度灾难
- 数据的维度高，很多机器学习问题变得困难
* 平滑先验（局部不变法先验）
