softmax实现

1. MNIST数据集合

* Yann LeCun

• MNIST是在机器学习领域中的一个经典问题。该问题解决的是把28x28像素的灰度手写数字图片识别为相应的数字，其中数字的范围从0到9.

2. Softmax

• MNIST的每一张图片都表示一个数字，从0到9。我们希望得到给定图片代表每个数字的概率

• 判断某类特征的相加，将这些特征转换为判定这一类的概率

• MNIST的特征是：为了得到一张给定图片属于某个特定数字类的证据（evidence），我们对图片像素值进行加权求和。

3. 代码

#!/usr/bin/python2.7
# -*- coding: UTF-8 -*-



import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import numpy as np
import matplotlib.pyplot as plt

# 载入数据
mnist = input_data.read_data_sets("MNIST_data",one_hot=True)

# 定义批次大小
batch_size=100

#计算批次个数
n_batch=mnist.train.num_examples // batch_size

#  定义placeholder
x=tf.placeholder(tf.float32,[None,784]) # None和batch_size关联
y=tf.placeholder(tf.float32,[None,10])

# 创建简单的神经网络：输入层(784个神经元)和输出层（10个神经元），两层

W=tf.Variable(tf.zeros([784,10]))
b=tf.Variable(tf.zeros([10]))
prediction=tf.nn.softmax(tf.matmul(x,W)+b)


# 定义二次代价函数

loss =tf.reduce_mean(tf.square(y-prediction))

#使用梯度下降算法

train_step=tf.train.GradientDescentOptimizer(0.2).minimize(loss)

# 初始化变量

init=tf.global_variables_initializer()

# 结果存放在bool列表

correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))

#求准确率

accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

with tf.Session() as sess:
     sess.run(init)
     for epoch in range(30):  #所有图片训练21次
         for bacth in range(n_batch):
             batch_xs,batch_ys=mnist.train.next_batch(batch_size)
             sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys})

         acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})  #测试集的数据
         print("iter "+ str(epoch) + " ,Testing Accuracy "+str(acc))