概论

--

• 机器学习：从原始数据提取模型的能力
• 传统机器学习算法，依赖于给定数据的表示
• 传统步骤：提取合适的特征集合；将特征集合提供给简单的机器学习算法

--

1. 表示学习（representation-learning）

• 学习到的表示比手动设计的要好（复杂任务手动设计，太耗费人力）

* 自动编码器

• 典型的表示学习例子

* 深度学习

• 通过简单表示来表达复杂表示

* 深度学习的观点

• 学习数据正确表示的想法是解释深度学习的一个观点
• 深度学习允许计算机学习一个多步骤的计算机程序；表示的每一层可以视为并行执行另一组指令后计算机的存储状态

2. 深度学习和机器学习的关系

3. 深度学习的历史

* 发展

• 控制轮：60年代，第一个模型：感知器
• 连接方法：1980-1995：反向传播（训练一个具有一两个隐层的神经网络）
• 神经网络：2006（hinton,bengio）
• 深度学习：学习的多层次组合