机器学习理论

• 统计机器学习(statistical machine learning)
• 通过执行某个过程，改进它的性能就是学习---Herbert A. Simon

* 机器学习的对象

• 统计机器学习的前提：同类数据具有一定的统计规律性

* 统计学习的方法

• 监督学习
• 非监督学习
• 半监督学习
• 强化学习

* 监督的学习算法

• 从训练数据集合出发，假设数据独立同分布产生
• 模型
• 策略
• 算法

* 监督学习

• 分类
• 回归
• 标准

1. 监督学习

• 监督学习的任务，学习一个模型，使得模型能够对于任意给定的输入，对其相应的输出做出一个预测

* 基本概念

• 输入空间，输出空间：将输入与输出所有可能的取值的集合分布称为输入空间和输出空间

• 每个具体的输入是一个实例，由特征向量表示

• 所有的特征向量存在的空间是