1、softmax_cross_entropy_with_logits() 这个函数的作用就是计算最后一层是softmax层的cross entropy，只不过tensorflow把softmax计算与cross entropy计算放到一起了，用一个函数来实现，用来提高程序的运行速度，原话就是it performs a softmax on logits internally for efficiency。 在inference过程中，并没有使用到softmax层，但这不会影响输出结果，因为softmax是单调增函数。 2、
# 创建一个optimizer.
opt = GradientDescentOptimizer(learning_rate=
0.1)
# 计算<list of variables>相关的梯度
grads_and_vars = opt.compute_gradients(loss, <list of variables>)
# grads_and_vars为tuples (gradient, variable)组成的列表。
#对梯度进行想要的处理，比如cap处理
capped_grads_and_vars = [(MyCapper(gv[
0]), gv[
1])
for gv in grads_and_vars]
# 令optimizer运用capped的梯度(gradients)
opt.apply_gradients(capped_grads_and_vars)
