python 随机森林算法及其优化详解

2023-08-20 03:23:06 72

前言

优化随机森林算法，正确率提高1%~5%（已经有90%+的正确率，再调高会导致过拟合）

论文当然是参考的，毕竟出现早的算法都被人研究烂了，什么优化基本都做过。而人类最高明之处就是懂得利用前人总结的经验和制造的工具（说了这么多就是为偷懒找借口。hhhh）

优化思路

1.计算传统模型准确率

2.计算设定树木颗数时最佳树深度，以最佳深度重新生成随机森林

3.计算新生成森林中每棵树的AUC，选取AUC靠前的一定百分比的树

4.通过计算各个树的数据相似度，排除相似度超过设定值且AUC较小的树

5.计算最终的准确率

主要代码粘贴如下（注释比较详细，就不介绍代码了）

#-*-coding:utf-8-*-
importtime
fromcsvimportreader
fromrandomimportrandint
fromrandomimportseed

importnumpyasnp
fromnumpyimportmat

fromgroup_11importcaculateAUC_1,plotTree

#建立一棵CART树
'''试探分枝'''
defdata_split(index,value,dataset):
left,right=list(),list()
forrowindataset:
ifrow[index]=max_depth:
node['left'],node['right']=to_terminal(left),to_terminal(right)
return
#左子树
iflen(left)<=min_size:
node['left']=to_terminal(left)
else:
node['left']=get_split(left,n_features)
split(node['left'],max_depth,min_size,n_features,depth+1)
#右子树
iflen(right)<=min_size:#min_size最小的的分枝样本数
node['right']=to_terminal(right)
else:
node['right']=get_split(right,n_features)
split(node['right'],max_depth,min_size,n_features,depth+1)

'''建立一棵树'''
defbuild_one_tree(train,max_depth,min_size,n_features):
#寻找最佳分裂点作为根节点
root=get_split(train,n_features)
split(root,max_depth,min_size,n_features,1)
returnroot

'''用森林里的一棵树来预测'''
defpredict(node,row):
ifrow[node['index']]0:
label=max(set(pre),key=pre.count)
iflabel==row[-1]:
count+=1

return(float(count)/n)*100

'''建立随机森林'''
defbuild_randomforest(self,train):
temp_flag=0
max_depth=self.max_depth#树深
min_size=self.leaf_min_size#建立树时，停止的分枝样本最小数目
n_trees=self.trees_num#森林的树的数目
n_features=int(self.feature_ratio*(len(train[0])-1))#列采样，从M个feature中，选择m个(m<',i,'<=============')
myRF_=randomForest(trees_num,depth,min_size,sample_ratio,feature_ratio)
#生成随机森林
myRF_.build_randomforest(traindata)
#测试评估
acc=myRF_.accuracy_metric(testdata[:-1])
#print('模型准确率：',acc,'%')
#scores_final.append(acc.mean())
scores_final.append(acc*0.01)
i=i+1
#print('scores_final:',scores_final)
#找到深度小且准确率高的值
best_depth=0
temp_score=0
foriinrange(len(scores_final)):
ifscores_final[i]>temp_score:
temp_score=scores_final[i]
best_depth=max_depth[i]
#print('best_depth:',np.mean(scores_final),best_depth)
#plt.plot(max_depth,scores_final,'r-',lw=2)
##plt.plot(max_depth,list(range(0,max(scores_final))),'r-',lw=2)
#plt.xlabel('max_depth')
#plt.ylabel('CVscores')
#plt.ylim(bottom=0.0,top=1.0)
#plt.grid()
#plt.show()
returnbest_depth


'''对比不同树个数时的模型正确率'''
defgetMyRFAcclist(treenum_list):
seed(1)#每一次执行本文件时都能产生同一个随机数
filename='DataSet3.csv'#SMOTE处理过的数据
min_size=1
sample_ratio=1
feature_ratio=0.3#尽可能小，但是要保证int(self.feature_ratio*(len(train[0])-1))大于1
same_value=20#向量内积的差（小于此值认为相似）
same_rate=0.63#树的相似度（大于此值认为相似）

#加载数据
dataset,features=load_csv(filename)
traindata,testdata=split_train_test(dataset,feature_ratio)
#森林中不同树个数的对比
#treenum_list=[20,30,40,50,60]
acc_num_list=list()
acc_list=list()
fortrees_numintreenum_list:
#优化1-获取最优深度
max_depth=getBestDepth(min_size,sample_ratio,trees_num,feature_ratio,traindata,testdata)
print('max_depthis',max_depth)

#初始化随机森林
myRF=randomForest(trees_num,max_depth,min_size,sample_ratio,feature_ratio)
#生成随机森林
myRF.build_randomforest(traindata)

print('Tree_number:',myRF.trees.__len__())
#计算森林中每棵树的AUC
auc_list=caculateAUC_1.caculateRFAUC(testdata,myRF.trees)
#选取AUC高的决策数形成新的森林(auc优化)
newTempForest=auc_optimization(auc_list,trees_num,myRF.trees)
#相似度优化
myRF.trees=similarity_optimization(newTempForest,same_value,same_rate)
#测试评估
acc=myRF.accuracy_metric(testdata[:-1])
print('myRF1_模型准确率：',acc,'%')
acc_num_list.append([myRF.trees.__len__(),acc])
acc_list.append(acc)
print('trees_numfrom20to60:',acc_num_list)
returnacc_list


if__name__=='__main__':
start=time.clock()
seed(1)#每一次执行本文件时都能产生同一个随机数
filename='DataSet3.csv'#这里是已经利用SMOTE进行过预处理的数据集
max_depth=15#调参（自己修改）#决策树深度不能太深，不然容易导致过拟合
min_size=1
sample_ratio=1
trees_num=20

feature_ratio=0.3#尽可能小，但是要保证int(self.feature_ratio*(len(train[0])-1))大于1
same_value=20#向量内积的差（小于此值认为相似）
same_rate=0.82#树的相似度（大于此值认为相似）
#加载数据
dataset,features=load_csv(filename)
traindata,testdata=split_train_test(dataset,feature_ratio)

#优化1-获取最优深度
#max_depth=getBestDepth(min_size,sample_ratio,trees_num,feature_ratio,traindata,testdata)
#print('max_depthis',max_depth)

#初始化随机森林
myRF=randomForest(trees_num,max_depth,min_size,sample_ratio,feature_ratio)
#生成随机森林
myRF.build_randomforest(traindata)

print('Tree_number:',myRF.trees.__len__())
acc=myRF.accuracy_metric(testdata[:-1])
print('传统RF模型准确率：',acc,'%')

#画出某棵树用以可视化观察（这里是第一棵树）
#plotTree.creatPlot(myRF.trees[0],features)
#计算森林中每棵树的AUC
auc_list=caculateAUC_1.caculateRFAUC(testdata,myRF.trees)
#画出每棵树的auc——柱状图
#plotTree.plotAUCbar(auc_list.__len__(),auc_list)

#选取AUC高的决策数形成新的森林(auc优化)
newTempForest=auc_optimization(auc_list,trees_num,myRF.trees)
#相似度优化
myRF.trees=similarity_optimization(newTempForest,same_value,same_rate)

print('优化后Tree_number:',myRF.trees.__len__())
#测试评估
acc=myRF.accuracy_metric(testdata[:-1])
#print('优化后模型准确率：',acc,'%')
print('myRF1_模型准确率：',acc,'%')
#画出某棵树用以可视化观察（这里是第一棵树）
#plotTree.creatPlot(myRF.trees[0],features)
#计算森林中每棵树的AUC
auc_list=caculateAUC_1.caculateRFAUC(testdata,myRF.trees)
#画出每棵树的auc——柱状图
plotTree.plotAUCbar(auc_list.__len__(),auc_list)
end=time.clock()
print('Theend!')
print(end-start)

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。

python 随机森林算法及其优化详解

热门推荐

随机推荐