softmax

http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

http://blog.csdn.net/zdy0_2004/article/details/49366413

• 该模型是logistic回归模型在多分类问题上的推广

• 在多分类问题中，类标签 \textstyle y 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。

• 在自然语言中， 最大熵等价于 logistic regression，是因为特征函数都是二项分布。所以与LR本质上是同分布。

• SVM只选自己喜欢的男神，Softmax把所有备胎全部拉出来评分，最后还归一化一下

• softmax regression是一个将目标变量分为K类的算法，建模使用的分布是多项式分布;

http://www.cnblogs.com/fclbky/p/5408796.html

1. 逻辑回归

2. softmax

* softmax的损失函数

3. 正则化