反向传播算法

* 本质：计算梯度的方法

* 如何计算梯度的算法

* 符号

* 关联公式

• 每一层l都定义一个权重矩阵 $$w^l$$,表示连接到$$l^{th}$$层神经元的权重
• 每一层定义一个偏执矩阵 $$b^l$$
• 激活向量$$a^l$$, 激活值：$$a_j^l$$

==>

1.1 代价函数

• 反向传播算法的目标：计算关于$$w$$和$$b$$的偏导数

1.2 Hadamard乘积

2. 反向传播的四个基本方程

• 反向传播是对权重和偏置变化影响代价函数的过程的理解

* 误差的定义

2.1. 输出层的误差的方差

2.2.

2.3.

2.4.

• sigmoid激活函数：，如果输出神经元激活值很低，或者输出神经元已经饱和了（过 高或者过低的激活值），权重会学习缓慢。

3. 四个基本方差的证明

=>

3. 反向传播算法