tensorflow 查看梯度方式
1.为什么要查看梯度
对于初学者来说网络经常不收敛，loss很奇怪（就是不收敛），所以怀疑是反向传播中梯度的问题
（1）求导之后的数（的绝对值）越来越小（趋近于0），这就是梯度消失
（2）求导之后的数（的绝对值）越来越大（特别大，发散），这就是梯度爆炸
所以说呢，当loss不正常时，可以看看梯度是否处于爆炸，或者是消失了，梯度爆炸的话，网络中的W也会很大，人工控制一下（初始化的时候弄小点等等肯定还有其它方法，只是我不知道，知道的大神也可以稍微告诉我一下~~），要是梯度消失，可以试着用用resnet,densenet之类的
2.tensorflow中如何查看梯度
tf.gradients(y,x)这里的就是y对于x的导数（dy/dx）,x和y一定要有关联哦~
直接tf.gradients(y_,weight1)就可以了~
以上这篇tensorflow查看梯度方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。