神经网络的意义

* 神经网络可以计算任何函数

* 深层网络在学习分级知识时，深度网络比浅层网络更合适

深度神经网络为何难训练

• 深度学习的梯度计算不稳定：下层的梯度来自上层的乘机
• 前面隐层的学习速率低于后面隐层的学习速率
• 不同层，使用不同的学习速率
• 选择其他激活函数ReLU
• 选择不过的梯度下降算法

* 使用sigmoid函数，前层神经元梯度会消失或者爆炸

1. 手写数字识别

2. 梯度下降算法

3. 为什么反向传播速度快

• 参看$$(神经网络与深度学习)$$