时间:2021-05-22
我就废话不多说了,直接上代码吧!
import tensorflow as tf w1 = tf.Variable([[1,2]]) w2 = tf.Variable([[3,4]]) res = tf.matmul(w1, [[2],[1]]) grads = tf.gradients(res,[w1]) with tf.Session() as sess: tf.global_variables_initializer().run() print sess.run(res) print sess.run(grads)输出结果为:
[[4]][array([[2, 1]], dtype=int32)]可以这样看res与w1有关,w1的参数设为[a1,a2],则:
2*a1 + a2 = res
所以res对a1,a2求导可得 [[2,1]]为w1对应的梯度信息。
import tensorflow as tf def gradient_clip(gradients, max_gradient_norm): """Clipping gradients of a model.""" clipped_gradients, gradient_norm = tf.clip_by_global_norm( gradients, max_gradient_norm) gradient_norm_summary = [tf.summary.scalar("grad_norm", gradient_norm)] gradient_norm_summary.append( tf.summary.scalar("clipped_gradient", tf.global_norm(clipped_gradients))) return clipped_gradientsw1 = tf.Variable([[3.0,2.0]]) # w2 = tf.Variable([[3,4]]) params = tf.trainable_variables()res = tf.matmul(w1, [[3.0],[1.]]) opt = tf.train.GradientDescentOptimizer(1.0)grads = tf.gradients(res,[w1]) clipped_gradients = gradient_clip(grads,2.0)global_step = tf.Variable(0, name='global_step', trainable=False)#update = opt.apply_gradients(zip(clipped_gradients,params), global_step=global_step)with tf.Session() as sess: tf.global_variables_initializer().run() print sess.run(res) print sess.run(grads) print sess.run(clipped_gradients)以上这篇TensorFlow梯度求解tf.gradients实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
TensorFLow能够识别的图像文件,可以通过numpy,使用tf.Variable或者tf.placeholder加载进tensorflow;也可以通过自带
tensorflow支持14种不同的类型,主要包括:实数:tf.float32tf.float64整数:tf.int8tf.int16tf.int32tf.in
一、TensorFlow模型保存和提取方法1.TensorFlow通过tf.train.Saver类实现神经网络模型的保存和提取。tf.train.Saver对
一、TensorFlow变量管理1.TensorFLow还提供了tf.get_variable函数来创建或者获取变量,tf.variable用于创建变量时,其功
梯度下降法是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降是最常采用的方法之一,在求解