Python基于numpy灵活定义神经网络结构的方法

2023-09-26 04:45:06 52

本文实例讲述了Python基于numpy灵活定义神经网络结构的方法。分享给大家供大家参考，具体如下：

用numpy可以灵活定义神经网络结构，还可以应用numpy强大的矩阵运算功能！

一、用法

1）.定义一个三层神经网络：

'''示例一'''
nn=NeuralNetworks([3,4,2])#定义神经网络
nn.fit(X,y)#拟合
print(nn.predict(X))#预测

说明：
输入层节点数目：3
隐藏层节点数目：4
输出层节点数目：2

2）.定义一个五层神经网络：

'''示例二'''
nn=NeuralNetworks([3,5,7,4,2])#定义神经网络
nn.fit(X,y)#拟合
print(nn.predict(X))#预测

说明：
输入层节点数目：3
隐藏层1节点数目：5
隐藏层2节点数目：7
隐藏层3节点数目：4
输出层节点数目：2

二、实现

如下实现方式为本人（@hhh5460）原创。要点：dtype=object

importnumpyasnp
classNeuralNetworks(object):
''''''
def__init__(self,n_layers=None,active_type=None,n_iter=10000,error=0.05,alpha=0.5,lamda=0.4):
'''搭建神经网络框架'''
#各层节点数目(向量)
self.n=np.array(n_layers)#'n_layers必须为list类型，如：[3,4,2]或n_layers=[3,4,2]'
self.size=self.n.size#层的总数
#层(向量)
self.z=np.empty(self.size,dtype=object)#先占位(置空)，dtype=object！如下皆然
self.a=np.empty(self.size,dtype=object)
self.data_a=np.empty(self.size,dtype=object)
#偏置(向量)
self.b=np.empty(self.size,dtype=object)
self.delta_b=np.empty(self.size,dtype=object)
#权(矩阵)
self.w=np.empty(self.size,dtype=object)
self.delta_w=np.empty(self.size,dtype=object)
#填充
foriinrange(self.size):
self.a[i]=np.zeros(self.n[i])#全零
self.z[i]=np.zeros(self.n[i])#全零
self.data_a[i]=np.zeros(self.n[i])#全零
ifi
下面完整代码是我学习斯坦福机器学习教程，完全自己敲出来的：
importnumpyasnp
'''
参考：http://ufldl.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C
'''
classNeuralNetworks(object):
''''''
def__init__(self,n_layers=None,active_type=None,n_iter=10000,error=0.05,alpha=0.5,lamda=0.4):
'''搭建神经网络框架'''
self.n_iter=n_iter#迭代次数
self.error=error#允许最大误差
self.alpha=alpha#学习速率
self.lamda=lamda#衰减因子#此处故意拼写错误！
ifn_layersisNone:
raise'各层的节点数目必须设置！'
elifnotisinstance(n_layers,list):
raise'n_layers必须为list类型，如：[3,4,2]或n_layers=[3,4,2]'
#节点数目(向量)
self.n=np.array(n_layers)
self.size=self.n.size#层的总数
#层(向量)
self.a=np.empty(self.size,dtype=object)#先占位(置空)，dtype=object！如下皆然
self.z=np.empty(self.size,dtype=object)
#偏置(向量)
self.b=np.empty(self.size,dtype=object)
self.delta_b=np.empty(self.size,dtype=object)
#权(矩阵)
self.w=np.empty(self.size,dtype=object)
self.delta_w=np.empty(self.size,dtype=object)
#残差(向量)
self.data_a=np.empty(self.size,dtype=object)
#填充
foriinrange(self.size):
self.a[i]=np.zeros(self.n[i])#全零
self.z[i]=np.zeros(self.n[i])#全零
self.data_a[i]=np.zeros(self.n[i])#全零
ifi600:
z[z.argmax()]=600
return1.0/(1.0+np.exp(-z))
deftanh(self,z):
return(np.exp(z)-np.exp(-z))/(np.exp(z)+np.exp(-z))
defradb(self,z):
returnnp.exp(-z*z)
defline(self,z):
returnz
defsigmoid_d(self,z):
returnz*(1.0-z)
deftanh_d(self,z):
return1.0-z*z
defradb_d(self,z):
return-2.0*z*np.exp(-z*z)
defline_d(self,z):
returnnp.ones(z.size)#全一
defforward(self,x):
'''正向传播（在线）'''
#用样本x走一遍，刷新所有z,a
self.a[0]=x
foriinrange(self.size-1):
self.z[i+1]=np.dot(self.a[i],self.w[i])+self.b[i]
self.a[i+1]=self.active_functions[self.active_type[i]](self.z[i+1])#加了激活函数
deferr(self,X,Y):
'''误差'''
last=self.size-1
err=0.0
forx,yinzip(X,Y):
self.forward(x)
err+=0.5*np.sum((self.a[last]-y)**2)
err/=X.shape[0]
err+=sum([np.sum(w)forwinself.w[:last]**2])
returnerr
defbackward(self,y):
'''反向传播（在线）'''
last=self.size-1
#用样本y走一遍，刷新所有delta_w,delta_b
self.data_a[last]=-(y-self.a[last])*self.derivative_functions[self.active_type[last-1]](self.z[last])#加了激活函数的导函数
foriinrange(last-1,1,-1):
self.data_a[i]=np.dot(self.w[i],self.data_a[i+1])*self.derivative_functions[self.active_type[i-1]](self.z[i])#加了激活函数的导函数
#计算偏导
p_w=np.outer(self.a[i],self.data_a[i+1])#外积！感谢numpy的强大！
p_b=self.data_a[i+1]
#更新delta_w,delta_w
self.delta_w[i]=self.delta_w[i]+p_w
self.delta_b[i]=self.delta_b[i]+p_b
defupdate(self,n_samples):
'''更新权重参数'''
last=self.size-1
foriinrange(last):
self.w[i]-=self.alpha*((1/n_samples)*self.delta_w[i]+self.lamda*self.w[i])
self.b[i]-=self.alpha*((1/n_samples)*self.delta_b[i])
deffit(self,X,Y):
'''拟合'''
foriinrange(self.n_iter):
#用所有样本，依次
forx,yinzip(X,Y):
self.forward(x)#前向，更新a,z;
self.backward(y)#后向，更新delta_w,delta_b
#然后，更新w,b
self.update(len(X))
#计算误差
err=self.err(X,Y)
iferr
更多关于Python相关内容可查看本站专题：《Python数学运算技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。

Python基于numpy灵活定义神经网络结构的方法

热门推荐

随机推荐