浅谈tensorflow之内存暴涨问题
在用tensorflow实现一些模型的时候，有时候我们在运行程序的时候，会发现程序占用的内存在不断增长。最后内存溢出，程序被kill掉了。
这个问题，其实有两个可能性。一个是比较常见，同时也是很难发现的。这个问题的解决，需要我们知道tensorflow在构图的时候，是没有所谓的临时变量的，只要有operator。那么tensorflow就会在构建的图中增加这个operator所代表的节点。所以，在运行程序的过程中，内存不断增长的原因就是在模型训练迭代的过程中，tensorflow一直在帮你增加图的节点。导致内存占用越来越多。
那么什么情况下就会像上面说的那样呢？我们举个例子：
importtensorflowastf x=tf.Variable(tf.constant(1)) y=tf.constant(2) sess=tf.Session() sess.run(tf.global_variables_initializer()) whileTrue: print(sess.run(x+y))
如果你运行上面这段代码，会发现在运行的过程中，内存占用越来越大。原因就在于sess.run(x+y)这个语句。我们知道在tensorflow中，所有的操作都是graph的节点。而在迭代的过程中，x+y这个operator(操作)是匿名的，所以它会不断地重复，在graph中创建节点，导致内存占用越来越大。
所以要对上面的代码进行修改：
z=x+y whileTrue: print(sess.run(z))
这样就不会出现问题了。
上面只是一个简单的例子，我们可以很快发现问题。但是有时候我们的模型比较复杂，很难判断是否在迭代的过程中一直在增加节点。那怎么办呢？
其实在tensorflow里面有个函数叫做：
sess.graph.finalize()
只要每一次构图完成后，调用这个函数。然后运行程序，如果你的程序在运行的过程中还一直新建节点，这个函数就会检测到，然后就会报错。这样你就知道你的程序中一定有不合理的地方。
另一个导致内存暴涨的原因是，数据的加载问题。tensorflow现在有一个API接口，tf.data.Dataset。这个接口里面有个函数叫做cache(filename)。cache函数的作用是将加载进来的数据存放到filename指定的地方。但是如果我们没有指定filename，数据就是一直存储在内存中。所以，随着迭代次数的增加，存储在内存中的数据越来越多，就会导致内存暴涨。所以要么不要使用这个函数，要么就要记得添加filename参数。
以上这篇浅谈tensorflow之内存暴涨问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。