正则化

1. 提高泛华的方法

• L2/L1
• 数据集增强

• 鲁棒性：在训练过程中对样本/权重增加噪声

• bagging（模型平均）

• dropout：廉价的bagging

1.1 dropout

• 在指数级数量的神经网络上，近似bagging的过程

2. 优化算法

• minibatch方法

• 随机梯度下降

• 动量

• Nesterov动量

3. 参数初始化

4. 自适应的学习率

• adagrad
• adam

5. 二阶算法