python2.7实现复制大量文件及文件夹资料
需求：拷大量数据，发现有2000G，靠系统的复制功能怕是得好几个小时，于是回来学一手操作，话不多说上代码：
说明：CopyFiles1是可以将sourceDir连子目录一起原样复制到targetDir，而CopyFiles2是在sourceDir中筛选特定格式文件，然后将其直接放在targetDir中，会很乱。但是很快
importos
importtime
importshutil
sourceDir=r"D:\copytest\datatest"
targetDir=r"D:\copytest\result"
copyFileCounts=0
defCopyFiles1(sourceDir,targetDir):
#完全连子目录也会复制好，美观
globalcopyFileCounts
print(sourceDir)
print("%s当前处理文件夹%s已处理%s个文件"%(time.strftime('%Y-%m-%d%H:%M:%S',time.localtime(time.time())),sourceDir,copyFileCounts))
forfinos.listdir(sourceDir):
sourceF=os.path.join(sourceDir,f)
targetF=os.path.join(targetDir,f)
ifos.path.isfile(sourceF):
ifnotos.path.exists(targetDir):
os.makedirs(targetDir)
copyFileCounts+=1
ifnotos.path.exists(targetF)or(os.path.exists(targetF)and(os.path.getsize(targetF)!=os.path.getsize(sourceF))):
open(targetF,"wb").write(open(sourceF,"rb").read())
print("%s%s复制完毕"%(time.strftime('%Y-%m-%d%H:%M:%S',time.localtime(time.time())),targetF))
else:
print("%s%s已存在，不重复复制"%(time.strftime('%Y-%m-%d%H:%M:%S',time.localtime(time.time())),targetF))
ifos.path.isdir(sourceF):
copyFiles(sourceF,targetF)
defCopyFiles2(dir):
#会将目录下所有文件都复制在一起，速度快，可以筛选文件
i=0
forroot,dir1,filenameinos.walk(dir):
#print(filename)
forindexinrange(len(filename)):
#print(os.path.splitext(filename[index])[1])
#ifos.path.splitext(filename[index])[1]=='.':#这里注意filename是个元组，splitext方法的时候只能是字符串
if1==1:
#i+=1
print('here')
root1="D:\\copytest\\result3"
old_path=os.path.join(root,filename[index])
print(old_path)
new_path=os.path.join(root1,filename[index])
shutil.copyfile(old_path,new_path)
#print("总共有",i,"图层文件被复制！")
if__name__=="__main__":
time_start=time.time()
try:
importpsyco
psyco.profile()
exceptImportError:
pass
#CopyFiles1(sourceDir,targetDir)
CopyFiles2("D:/copytest/datatest")
time_end=time.time()
print('totallycost',time_end-time_start)
#实战代码
#!/usr/bin/python2
#coding=UTF-8
#@authorneo_will
#version2019-04-0210:39
importos
importos.path
importshutil
importtime,datetime
#fpath_2018=[1207,1121,1120,1119,1112,1101,1025,1009,0704,0608,0531,0530,0517,0502,0418,0330,0201,0131]
#sourceDir=r"F:\LEVEL2_shanghai\2018\fpath_2018[0:]"
#des_dir=r"G:\MarketDataSupplement\shanghai\2018\fpath_2018[0:]"
#原始目录和拷贝到的目录地址
sourceDir=r"D:\tools\wj"
targetDir=r"D:\Users\wj"
copyFileCounts=0
#定义拷贝文件的函数
defcopyFiles(sourceDir,targetDir):
globalcopyFileCounts
print(sourceDir)
print("%s当前处理文件夹%s已处理%s个文件"%(time.strftime('%Y-%m-%d%H:%M:%S',time.localtime(time.time())),sourceDir,copyFileCounts))
forfinos.listdir(sourceDir):
sourceF=os.path.join(sourceDir,f)
targetF=os.path.join(targetDir,f)
ifos.path.isfile(sourceF):
#创建目录
ifnotos.path.exists(targetDir):
os.makedirs(targetDir)
copyFileCounts+=1
#文件不存在的话，或者存在但是大小存在差异不同，执行完全覆盖操作
ifnotos.path.exists(targetF)or(os.path.exists(targetF)and(os.path.getsize(targetF)!=os.path.getsize(sourceF))):
#二进制文件
open(targetF,"wb").write(open(sourceF,"rb").read())
printu"%s%scopyover"%(time.strftime('%Y-%m-%d%H:%M:%S',time.localtime(time.time())),targetF)
else:
print("%s%sisexists,pleasedon'tcopymore"%(time.strftime('%Y-%m-%d%H:%M:%S',time.localtime(time.time())),targetF))
ifos.path.isdir(sourceF):
copyFiles(sourceF,targetF)
if__name__=="__main__":
time_start=time.time()
try:
importpsyco
psyco.profile()
exceptImportError:
pass
#copyFiles(sourceDir,targetDir)
copyFiles(r"D:\tools\wj",r"D:\Users\wj")
time_end=time.time()
print('totallycost',time_end-time_start)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。