最大熵和LR
https://www.cnblogs.com/luxiao/p/5783017.html
* 最大熵和LR关系
- 简单粗暴 的回答是：逻辑回归跟最大熵模型没有本质区别。逻辑回归是最大熵对应类别为二类时的特殊情况，也就是当逻辑回归类别扩展到多类别时，就是最大熵模型。
- 指数簇分布的最大熵等价于其指数形式的最大似然。
- 二项式分布的最大熵解等价于二项式指数形式(sigmoid)的最大似然；
- 多项式分布的最大熵等价于多项式分布指数形式(softmax)的最大似然。
* 生成模型和判别模型
http://blog.csdn.net/lk7688535/article/details/52353350
通常，机器学习分类器通过从所有可能的 中选择有最大的 P(y | x) 的那个，来决定将哪个输出标签 y 分配给输入 x
