Tensorflow 卷积的梯度反向传播过程
一.valid卷积的梯度
我们分两种不同的情况讨论valid卷积的梯度：第一种情况，在已知卷积核的情况下，对未知张量求导(即对张量中每一个变量求导)；第二种情况，在已知张量的情况下，对未知卷积核求导(即对卷积核中每一个变量求导)
1.已知卷积核，对未知张量求导
我们用一个简单的例子理解valid卷积的梯度反向传播。假设有一个3x3的未知张量x，以及已知的2x2的卷积核K
Tensorflow提供函数tf.nn.conv2d_backprop_input实现了valid卷积中对未知变量的求导，以上示例对应的代码如下：
importtensorflowastf #卷积核 kernel=tf.constant( [ [[[3]],[[4]]], [[[5]],[[6]]] ] ,tf.float32 ) #某一函数针对sigma的导数 out=tf.constant( [ [ [[-1],[1]], [[2],[-2]] ] ] ,tf.float32 ) #针对未知变量的导数的方向计算 inputValue=tf.nn.conv2d_backprop_input((1,3,3,1),kernel,out,[1,1,1,1],'VALID') session=tf.Session() print(session.run(inputValue)) [[[[-3.] [-1.] [4.]] [[1.] [1.] [-2.]] [[10.] [2.] [-12.]]]]
2.已知输入张量，对未知卷积核求导
假设已知3行3列的张量x和未知的2行2列的卷积核K
Tensorflow提供函数tf.nn.conv2d_backprop_filter实现valid卷积对未知卷积核的求导，以上示例的代码如下：
importtensorflowastf #输入张量 x=tf.constant( [ [ [[1],[2],[3]], [[4],[5],[6]], [[7],[8],[9]] ] ] ,tf.float32 ) #某一个函数F对sigma的导数 partial_sigma=tf.constant( [ [ [[-1],[-2]], [[-3],[-4]] ] ] ,tf.float32 ) #某一个函数F对卷积核k的导数 partial_sigma_k=tf.nn.conv2d_backprop_filter(x,(2,2,1,1),partial_sigma,[1,1,1,1],'VALID') session=tf.Session() print(session.run(partial_sigma_k)) [[[[-37.]] [[-47.]]] [[[-67.]] [[-77.]]]]
二.same卷积的梯度
1.已知卷积核，对输入张量求导
假设有3行3列的已知张量x，2行2列的未知卷积核K
importtensorflowastf #卷积核 kernel=tf.constant( [ [[[3]],[[4]]], [[[5]],[[6]]] ] ,tf.float32 ) #某一函数针对sigma的导数 partial_sigma=tf.constant( [ [ [[-1],[1],[3]], [[2],[-2],[-4]], [[-3],[4],[1]] ] ] ,tf.float32 ) #针对未知变量的导数的方向计算 partial_x=tf.nn.conv2d_backprop_input((1,3,3,1),kernel,partial_sigma,[1,1,1,1],'SAME') session=tf.Session() print(session.run(inputValue)) [[[[-3.] [-1.] [4.]] [[1.] [1.] [-2.]] [[10.] [2.] [-12.]]]]
2.已知输入张量，对未知卷积核求导
假设已知3行3列的张量x和未知的2行2列的卷积核K
importtensorflowastf #卷积核 x=tf.constant( [ [ [[1],[2],[3]], [[4],[5],[6]], [[7],[8],[9]] ] ] ,tf.float32 ) #某一函数针对sigma的导数 partial_sigma=tf.constant( [ [ [[-1],[-2],[1]], [[-3],[-4],[2]], [[-2],[1],[3]] ] ] ,tf.float32 ) #针对未知变量的导数的方向计算 partial_sigma_k=tf.nn.conv2d_backprop_filter(x,(2,2,1,1),partial_sigma,[1,1,1,1],'SAME') session=tf.Session() print(session.run(partial_sigma_k)) [[[[-1.]] [[-54.]]] [[[-43.]] [[-77.]]]]
以上这篇Tensorflow卷积的梯度反向传播过程就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。