时间:2021-05-23
1.检查点
保存模型并不限于在训练模型后,在训练模型之中也需要保存,因为TensorFlow训练模型时难免会出现中断的情况,我们自然希望能够将训练得到的参数保存下来,否则下次又要重新训练。
这种在训练中保存模型,习惯上称之为保存检查点。
2.添加保存点
通过添加检查点,可以生成载入检查点文件,并能够指定生成检查文件的个数,例如使用saver的另一个参数——max_to_keep=1,表明最多只保存一个检查点文件,在保存时使用如下的代码传入迭代次数。
import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltimport ostrain_x = np.linspace(-5, 3, 50)train_y = train_x * 5 + 10 + np.random.random(50) * 10 - 5plt.plot(train_x, train_y, 'r.')plt.grid(True)plt.show()tf.reset_default_graph()X = tf.placeholder(dtype=tf.float32)Y = tf.placeholder(dtype=tf.float32)w = tf.Variable(tf.random.truncated_normal([1]), name='Weight')b = tf.Variable(tf.random.truncated_normal([1]), name='bias')z = tf.multiply(X, w) + bcost = tf.reduce_mean(tf.square(Y - z))learning_rate = 0.01optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)init = tf.global_variables_initializer()training_epochs = 20display_step = 2saver = tf.train.Saver(max_to_keep=15)savedir = "model/"if __name__ == '__main__': with tf.Session() as sess: sess.run(init) loss_list = [] for epoch in range(training_epochs): for (x, y) in zip(train_x, train_y): sess.run(optimizer, feed_dict={X: x, Y: y}) if epoch % display_step == 0: loss = sess.run(cost, feed_dict={X: x, Y: y}) loss_list.append(loss) print('Iter: ', epoch, ' Loss: ', loss) w_, b_ = sess.run([w, b], feed_dict={X: x, Y: y}) saver.save(sess, savedir + "linear.cpkt", global_step=epoch) print(" Finished ") print("W: ", w_, " b: ", b_, " loss: ", loss) plt.plot(train_x, train_x * w_ + b_, 'g-', train_x, train_y, 'r.') plt.grid(True) plt.show() load_epoch = 10 with tf.Session() as sess2: sess2.run(tf.global_variables_initializer()) saver.restore(sess2, savedir + "linear.cpkt-" + str(load_epoch)) print(sess2.run([w, b], feed_dict={X: train_x, Y: train_y}))在上述的代码中,我们使用saver.save(sess, savedir + "linear.cpkt", global_step=epoch)将训练的参数传入检查点进行保存,saver = tf.train.Saver(max_to_keep=1)表示只保存一个文件,这样在训练过程中得到的新的模型就会覆盖以前的模型。
cpkt = tf.train.get_checkpoint_state(savedir)if cpkt and cpkt.model_checkpoint_path: saver.restore(sess2, cpkt.model_checkpoint_path)kpt = tf.train.latest_checkpoint(savedir)saver.restore(sess2, kpt)上述的两种方法也可以对checkpoint文件进行加载,tf.train.latest_checkpoint(savedir)为加载最后的检查点文件。这种方式,我们可以通过保存指定训练次数的检查点,比如保存5的倍数次保存一下检查点。
3.简便保存检查点
我们还可以用更加简单的方法进行检查点的保存,tf.train.MonitoredTrainingSession()函数,该函数可以直接实现保存载入检查点模型的文件,与前面的方法不同的是,它是按照训练时间来保存检查点的,可以通过指定save_checkpoint_secs参数的具体秒数,设置多久保存一次检查点。
import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltimport ostrain_x = np.linspace(-5, 3, 50)train_y = train_x * 5 + 10 + np.random.random(50) * 10 - 5# plt.plot(train_x, train_y, 'r.')# plt.grid(True)# plt.show()tf.reset_default_graph()X = tf.placeholder(dtype=tf.float32)Y = tf.placeholder(dtype=tf.float32)w = tf.Variable(tf.random.truncated_normal([1]), name='Weight')b = tf.Variable(tf.random.truncated_normal([1]), name='bias')z = tf.multiply(X, w) + bcost = tf.reduce_mean(tf.square(Y - z))learning_rate = 0.01optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)init = tf.global_variables_initializer()training_epochs = 30display_step = 2global_step = tf.train.get_or_create_global_step()step = tf.assign_add(global_step, 1)saver = tf.train.Saver()savedir = "check-point/"if __name__ == '__main__': with tf.train.MonitoredTrainingSession(checkpoint_dir=savedir + 'linear.cpkt', save_checkpoint_secs=5) as sess: sess.run(init) loss_list = [] for epoch in range(training_epochs): sess.run(global_step) for (x, y) in zip(train_x, train_y): sess.run(optimizer, feed_dict={X: x, Y: y}) if epoch % display_step == 0: loss = sess.run(cost, feed_dict={X: x, Y: y}) loss_list.append(loss) print('Iter: ', epoch, ' Loss: ', loss) w_, b_ = sess.run([w, b], feed_dict={X: x, Y: y}) sess.run(step) print(" Finished ") print("W: ", w_, " b: ", b_, " loss: ", loss) plt.plot(train_x, train_x * w_ + b_, 'g-', train_x, train_y, 'r.') plt.grid(True) plt.show() load_epoch = 10 with tf.Session() as sess2: sess2.run(tf.global_variables_initializer()) # saver.restore(sess2, savedir + 'linear.cpkt-' + str(load_epoch)) # cpkt = tf.train.get_checkpoint_state(savedir) # if cpkt and cpkt.model_checkpoint_path: # saver.restore(sess2, cpkt.model_checkpoint_path) # kpt = tf.train.latest_checkpoint(savedir + 'linear.cpkt') saver.restore(sess2, kpt) print(sess2.run([w, b], feed_dict={X: train_x, Y: train_y}))上述的代码中,我们设置了没训练了5秒中之后,就保存一次检查点,它默认的保存时间间隔是10分钟,这种按照时间的保存模式更适合使用大型数据集训练复杂模型的情况,注意在使用上述的方法时,要定义global_step变量,在训练完一个批次或者一个样本之后,要将其进行加1的操作,否则将会报错。
以上这篇TensorFlow——Checkpoint为模型添加检查点的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
【点钞机】故障及解决方法1、开机后无显示①检查电源的插座是否有电②检查点钞机的插头是否接触不良③检查点钞机的保险丝是否已熔断2、开机后出现故障提示代码一般点钞机
单独校验某个接口中的某个字段时,断言就相当于检查点添加http请求,输入路径url增加断言是先执行下确定返回200后增加断言添加断言断言——响应断言添加需要校验
热水器断电后开不起来的原因: 1、检查燃气。燃气是否供应。如果使用IC卡表的用户因欠费可能自动停止供气。 2、检查点火部分。如果是电池供电打火的检查一下是否
Exchange2003数据库文件包含了:检查点文件,日志文件,数据库文件,stm文件,公用文件夹存储,tmp.edb,res1.log和res2.log(用来
0前言1、2部分是对XLOG生成和清理逻辑的分析,XLOG暴涨的处理直接看第3部分。1WAL归档#在自动的WAL检查点之间的日志文件段的最大数量checkpoi