简单了解Python读取大文件代码实例
这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
通常对于大文件读取及处理，不可能直接加载到内存中，因此进行分批次小量读取及处理
I、第一种读取方式
一行一行的读取，速度较慢
defread_line(path): withopen(path,'r',encoding='utf-8')asfout: line=fout.readline() whileline: line=fout.readline() print(line)
II、第二种读取方式
设置每次读取大小，从而完成多行快速读取
defread_size(path): withopen(path,"r",encoding='utf-8')asfout: while1: buffer=fout.read(8*1024*1024) ifnotbuffer: break print(buffer)
III、第三种读取方式
使用itertools模块,islice返回的是一个生成器，可以用list格式化
fromitertoolsimportislice defread_itertools(path): withopen(path,'r',encoding='utf-8')asfout: list_gen=islice(fout,0,5)#两个参数分别表示开始行和结束行 forlineinlist_gen: print(line)
完成
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。