tensorflow常用优化函数

xiaoxiao2021-02-28  125

1、softmax_cross_entropy_with_logits() 这个函数的作用就是计算最后一层是softmax层的cross entropy,只不过tensorflow把softmax计算与cross entropy计算放到一起了,用一个函数来实现,用来提高程序的运行速度,原话就是it performs a softmax on logits internally for efficiency。 在inference过程中,并没有使用到softmax层,但这不会影响输出结果,因为softmax是单调增函数。 2、

# 创建一个optimizer. opt = GradientDescentOptimizer(learning_rate=0.1) # 计算<list of variables>相关的梯度 grads_and_vars = opt.compute_gradients(loss, <list of variables>) # grads_and_vars为tuples (gradient, variable)组成的列表。 #对梯度进行想要的处理,比如cap处理 capped_grads_and_vars = [(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars] # 令optimizer运用capped的梯度(gradients) opt.apply_gradients(capped_grads_and_vars)
转载请注明原文地址: https://www.6miu.com/read-34093.html

最新回复(0)