RBM碎碎念

http://blog.csdn.net/mytestmy/article/details/9150213 http://www.insightcs.cc/464/.org

1. 能拉函数模型

• 统计力学的结论表明，任何概率分布都可以转变成基于能量的模型

• 能量模型，使用能量模型使得学习一个数据的分布变得容易可行了。

• 统计模式识别主要工作之一就是捕获变量之间的相关性，同样能量模型也要捕获变量之间的相关性，变量之间的相关程度决定了能量的高低。把变量的相关关系用图表示出来，并引入概率测度方式就构成了概率图模型的能量模型。

• 每个可视节点和隐藏节点之间的连接结构都有一个能量，通俗来说就是可视节点的每一组取值和隐藏节点的每一组取值都有一个能量，如果可视节点的一组取值（也就是一个训练样本的值）为(1,0,1,0,1,0)，隐藏节点的一组取值（也就是这个训练样本编码后的值）为(1,0,1)，然后分别代入上面的公式，就能得到这个连接结构之间的能量。

* 从能量模型到概率

*　公式

2. RBM的求解

http://www.insightcs.cc/464/.org

• Geoff Hinton提出了受限玻尔兹曼机（Restricted Boltzmann Machines, RBM），即一类具有两层结构的、对称链接无自反馈的随机神经网络模型

• RBM是有两个层的浅层神经网络，它是组成深度置信网络(DBN)的基础结构。
• 第一层是由随机的可见单元(visible unit)构成的可见层（一般是伯努利分布或高斯分布）
• 第二层是由随机的隐单元(hidden unit)构成的隐层（一般是伯努利分布）
• RBM是一种对称二分图，层内无连接，层间全连接
• 每一个可见层节点和隐藏层节点都有两种状态：1（激活状态，on），0（未被激活状态，off）
• 处于激活状态的节点被使用，未处于激活状态的节点未被使用，节点的激活概率由可见层和隐藏层节点的分布函数计算。

* 重构

* 模型的定义

* 模型求解

* 模型的训练

• Gibbs算法
• CD-k 算法