python分块读取大数据,避免内存不足的方法
如下所示:
defread_data(file_name): ''' file_name:文件地址 ''' inputfile=open(file_name,'rb')#可打开含有中文的地址 data=pd.read_csv(inputfile,iterator=True) loop=True chunkSize=1000#一千行一块 chunks=[] whileloop: try: chunk=dcs.get_chunk(chunkSize) chunks.append(chunk) exceptStopIteration: loop=False print("Iterationisstopped.") data=pd.concat(chunks,ignore_index=True) #print(train.head()) returndata
以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持毛票票。