深度置信网络(DBN)

* 用RBM堆叠组成一个深度置信网络（Deep Belief Network, DBN），作为DNN预训练的基础，预训练过程是一种无监督的逐层预训练的通用技术。

模型

• 训练一个高斯-伯努利RBM或伯努利-伯努利RBM后，将隐单元的激活概率（activation probablities）作为下一层伯努利-伯努利RBM的输入数据。第二层伯努利-伯努利RBM的激活概率作为第三层伯努利-伯努利RBM的输入数据，以后各层以此类推。这种有效的逐层贪婪学习过程是无监督或者生成式学习，所以不需要标签信息。

* 应用

在混合网络模型中，这种生成式预训练可以和其他的算法结合（比如DBN-DNN,DBN-CNN,DBN-HMM），典型的是判别式方法，有效的调整所有权值来改善网络性能。判别式精调（fine-tune）通常是在现有的网络的最后一层上再增加一层，用来表示想要的输出或者训练数据提供的标签(比如分类、回归任务)。比如标准的前馈神经网络（feed-forward neural network），可以使用反向传播算法（back-propagation algorithm）来精调网络的权值，DNN的最后一层即标签层的内容，根据不同的任务和应用来确定。

1. DBN的原理

http://blog.csdn.net/oppoa113/article/details/42486833 http://blog.csdn.net/ztchun/article/details/53648214