Python拆分大型CSV文件代码实例
这篇文章主要介绍了Python拆分大型CSV文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
#!/usr/bin/envpython3 #-*-coding:utf-8-*- #@FileName:Test.py #@SoftwarePyCharm importos importpandasaspd #filename为文件路径,file_num为拆分后的文件行数 #根据是否有表头执行不同程序,默认有表头的 defData_split(filename,file_num,header=True): ifheader: #设置每个文件需要有的行数,初始化为1000W chunksize=10000 data1=pd.read_table(filename,chunksize=chunksize,sep=',',encoding='gbk') #print(data1) #num表示总行数 num=0 forchunkindata1: num+=len(chunk) #print(num) #chunksize表示每个文件需要分配到的行数 chunksize=round(num/file_num+1) #print(chunksize) #分离文件名与扩展名os.path.split(filename) head,tail=os.path.split(filename) data2=pd.read_table(filename,chunksize=chunksize,sep=',',encoding='gbk') i=0 forchunkindata2: chunk.to_csv('{0}_{1}{2}'.format(head,i,tail),header=None,index=False) print('保存第{0}个数据'.format(i)) i+=1 else: #获得每个文件需要的行数 chunksize=10000 data1=pd.read_table(filename,chunksize=chunksize,header=None,sep=',') num=0 forchunkindata1: num+=len(chunk) chunksize=round(num/file_num+1) head,tail=os.path.split(filename) data2=pd.read_table(filename,chunksize=chunksize,header=None,sep=',') i=0 forchunkindata2: chunk.to_csv('{0}_{1}{2}'.foemat(head,i,tail),header=None,index=False) print('保存第{0}个数据'.format(i)) i+=1 filename='文件路径' #num为拆分为的文件个数 Data_split(filename,num,header=True)
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。