TensorFlow入门使用 tf.train.Saver()保存模型
关于模型保存的一点心得
saver=tf.train.Saver(max_to_keep=3)
在定义saver的时候一般会定义最多保存模型的数量，一般来说，如果模型本身很大，我们需要考虑到硬盘大小。如果你需要在当前训练好的模型的基础上进行fine-tune，那么尽可能多的保存模型，后继fine-tune不一定从最好的ckpt进行，因为有可能一下子就过拟合了。但是如果保存太多，硬盘也有压力呀。如果只想保留最好的模型，方法就是每次迭代到一定步数就在验证集上计算一次accuracy或者f1值，如果本次结果比上次好才保存新的模型，否则没必要保存。
如果你想用不同epoch保存下来的模型进行融合的话，3到5个模型已经足够了，假设这各融合的模型成为M，而最好的一个单模型称为m_best,这样融合的话对于M确实可以比m_best更好。但是如果拿这个模型和其他结构的模型再做融合的话，M的效果并没有m_best好，因为M相当于做了平均操作，减少了该模型的“特性”。
但是又有一种新的融合方式，就是利用调整学习率来获取多个局部最优点，就是当loss降不下了，保存一个ckpt，然后开大学习率继续寻找下一个局部最优点，然后用这些ckpt来做融合，还没试过，单模型肯定是有提高的，就是不知道还会不会出现上面再与其他模型融合就没提高的情况。
如何使用tf.train.Saver()来保存模型
之前一直出错，主要是因为坑爹的编码问题。所以要注意文件的路径绝对不不要出现什么中文呀。
importtensorflowastf
config=tf.ConfigProto()
config.gpu_options.allow_growth=True
sess=tf.Session(config=config)
#Createsomevariables.
v1=tf.Variable([1.0,2.3],name="v1")
v2=tf.Variable(55.5,name="v2")
#Addanoptoinitializethevariables.
init_op=tf.global_variables_initializer()
#Addopstosaveandrestoreallthevariables.
saver=tf.train.Saver()
ckpt_path='./ckpt/test-model.ckpt'
#Later,launchthemodel,initializethevariables,dosomework,savethe
#variablestodisk.
sess.run(init_op)
save_path=saver.save(sess,ckpt_path,global_step=1)
print("Modelsavedinfile:%s"%save_path)
Modelsavedinfile:./ckpt/test-model.ckpt-1
注意，在上面保存完了模型之后。应该把kernelrestart之后才能使用下面的模型导入。否则会因为两次命名“v1”而导致名字错误。
importtensorflowastf
config=tf.ConfigProto()
config.gpu_options.allow_growth=True
sess=tf.Session(config=config)
#Createsomevariables.
v1=tf.Variable([11.0,16.3],name="v1")
v2=tf.Variable(33.5,name="v2")
#Addopstosaveandrestoreallthevariables.
saver=tf.train.Saver()
#Later,launchthemodel,usethesavertorestorevariablesfromdisk,and
#dosomeworkwiththemodel.
#Restorevariablesfromdisk.
ckpt_path='./ckpt/test-model.ckpt'
saver.restore(sess,ckpt_path+'-'+str(1))
print("Modelrestored.")
printsess.run(v1)
printsess.run(v2)
INFO:tensorflow:Restoringparametersfrom./ckpt/test-model.ckpt-1
Modelrestored.
[1. 2.29999995]
55.5
导入模型之前，必须重新再定义一遍变量。
但是并不需要全部变量都重新进行定义，只定义我们需要的变量就行了。
也就是说，你所定义的变量一定要在checkpoint中存在；但不是所有在checkpoint中的变量，你都要重新定义。
importtensorflowastf
config=tf.ConfigProto()
config.gpu_options.allow_growth=True
sess=tf.Session(config=config)
#Createsomevariables.
v1=tf.Variable([11.0,16.3],name="v1")
#Addopstosaveandrestoreallthevariables.
saver=tf.train.Saver()
#Later,launchthemodel,usethesavertorestorevariablesfromdisk,and
#dosomeworkwiththemodel.
#Restorevariablesfromdisk.
ckpt_path='./ckpt/test-model.ckpt'
saver.restore(sess,ckpt_path+'-'+str(1))
print("Modelrestored.")
printsess.run(v1)
INFO:tensorflow:Restoringparametersfrom./ckpt/test-model.ckpt-1
Modelrestored.
[1. 2.29999995]
tf.Saver([tensors_to_be_saved])中可以传入一个list，把要保存的tensors传入，如果没有给定这个list的话，他会默认保存当前所有的tensors。一般来说，tf.Saver可以和tf.variable_scope()巧妙搭配，可以参考：【迁移学习】往一个已经保存好的模型添加新的变量并进行微调
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。