Python基于read(size)方法读取超大文件
pyhon读取文件很方便,但是,如果文件很大,而且还是一行文件,那就蛋疼了.不过还好有read(size)方法,这个方法就是每次读取size大小的数据到内存中
下面来个示例
defreadlines(f,separator):
'''
读取大文件方法
:paramf:文件句柄
:paramseparator:每一行的分隔符
:return:
'''
buf=''
whileTrue:
whileseparatorinbuf:
position=buf.index(separator)#分隔符的位置
yieldbuf[:position]#切片,从开始位置到分隔符位置
buf=buf[position+len(separator):]#再切片,将yield的数据切掉,保留剩下的数据
chunk=f.read(4096)#一次读取4096的数据到buf中
ifnotchunk:#如果没有读到数据
yieldbuf#返回buf中的数据
break#结束
buf+=chunk#如果read有数据,将read到的数据加入到buf中
withopen('text.txt',encoding='utf-8')asf:
forlineinreadlines(f,'|||'):
#为什么readlines函数能够使用for循环遍历呢,因为这个函数里面有yield关键字呀,有它就是一个生成器函数......
print(line)
测试文件text.txt
fgshfsljflsjfls|||fyhdiyfdfhn|||fudofdb钦铁杆jdlfdl|||tedsthfdskfdk
打印结果
fgshfsljflsjfls
fyhdiyfdfhn
fudofdb钦铁杆jdlfdl
tedsthfdskfdk
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。