text sparse_softmax_cross_entropy_with_logits和softmax_cross_entropy_with_logits

Posted 2021-05-01

两者都是计算分类问题的softmax交叉熵损失，而两者使用的标签值labels的形式不同。
sparse_softmax_cross_entropy_with_logits: 使用的是实数来表示类别，数据类型为int16，int32，或者 int64，标签大小范围为[0，num_classes-1]，标签的维度为[batch_size]大小。
softmax_cross_entropy_with_logits： 使用的是one-hot二进制码来表示类别，labels必须是one-hot形式的数据，数据类型为float16，float32，或者float64，维度为[batch_size, num_classes]。

实例
import tensorflow as tf
#batch_size = 2
labels = tf.constant([[0, 0, 0, 1],[0, 1, 0, 0]])
logits = tf.constant([[-3.4, 2.5, -1.2, 5.5],[-3.4, 2.5, -1.2, 5.5]])  #实际labels和logits可以是任意shape，可以是[batch_size,num_class]/[batch_size,num_steps,num_class]等，只要两者有相同的shape就可以

loss = tf.nn.softmax_cross_entropy_with_logits(labels=labels, logits=logits)
loss_s = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=tf.argmax(labels,1), logits=logits)

with tf.Session() as sess:  
    print "softmax loss:", sess.run(loss)
    print "sparse softmax loss:", sess.run(loss_s)