Python fileinput模块使用实例
fileinput模块可以对一个或多个文件中的内容进行迭代、遍历等操作。
该模块的input()函数有点类似文件readlines()方法,区别在于:
前者是一个迭代对象,即每次只生成一行,需要用for循环迭代。
后者是一次性读取所有行。在碰到大文件的读取时,前者无疑效率更高效。
用fileinput对文件进行循环遍历,格式化输出,查找、替换等操作,非常方便。
【典型用法】
importfileinput forlineinfileinput.input(): process(line)
【基本格式】
fileinput.input([files[,inplace[,backup[,bufsize[,mode[,openhook]]]]]])
【默认格式】
fileinput.input(files=None,inplace=False,backup='',bufsize=0,mode='r',openhook=None) files: #文件的路径列表,默认是stdin方式,多文件['1.txt','2.txt',...] inplace: #是否将标准输出的结果写回文件,默认不取代 backup: #备份文件的扩展名,只指定扩展名,如.bak。如果该文件的备份文件已存在,则会自动覆盖。 bufsize: #缓冲区大小,默认为0,如果文件很大,可以修改此参数,一般默认即可 mode: #读写模式,默认为只读 openhook: #该钩子用于控制打开的所有文件,比如说编码方式等;
【常用函数】
fileinput.input() #返回能够用于for循环遍历的对象 fileinput.filename() #返回当前文件的名称 fileinput.lineno() #返回当前已经读取的行的数量(或者序号) fileinput.filelineno() #返回当前读取的行的行号 fileinput.isfirstline()#检查当前行是否是文件的第一行 fileinput.isstdin() #判断最后一行是否从stdin中读取 fileinput.close() #关闭队列
【常见例子】
例子01:利用fileinput读取一个文件所有行
>>>importfileinput >>>forlineinfileinput.input('data.txt'): printline, #输出结果 Python Java C/C++ Shell
命令行方式:
#test.py importfileinput forlineinfileinput.input(): printfileinput.filename(),'|','LineNumber:',fileinput.lineno(),'|:',line c:>pythontest.pydata.txt data.txt|LineNumber:1|: Python data.txt|LineNumber:2|: Java data.txt|LineNumber:3|: C/C++ data.txt|LineNumber:4|: Shell
例子02:利用fileinput对多文件操作,并原地修改内容
#test.py #---样本文件--- c:\Python27>type1.txt first second c:\Python27>type2.txt third fourth #---样本文件--- importfileinput defprocess(line): returnline.rstrip()+'line' forlineinfileinput.input(['1.txt','2.txt'],inplace=1): printprocess(line) #---结果输出--- c:\Python27>type1.txt firstline secondline c:\Python27>type2.txt thirdline fourthline #---结果输出---
命令行方式:
#test.py importfileinput defprocess(line): returnline.rstrip()+'line' forlineinfileinput.input(inplace=True): printprocess(line) #执行命令 c:\Python27>pythontest.py1.txt2.txt
例子03:利用fileinput实现文件内容替换,并将原文件作备份
#样本文件: #data.txt Python Java C/C++ Shell #FileName:test.py importfileinput forlineinfileinput.input('data.txt',backup='.bak',inplace=1): printline.rstrip().replace('Python','Perl') #或者printline.replace('Python','Perl'), #最后结果: #data.txt Python Java C/C++ Shell #并生成: #data.txt.bak文件
#其效果等同于下面的方式 importfileinput forlineinfileinput.input(): print'Tag:',line, #---测试结果: d:\>pythonLearn.py<data.txt>data_out.txt
例子04:利用fileinput将CRLF文件转为LF
importfileinput importsys forlineinfileinput.input(inplace=True): #将Windows/DOS格式下的文本文件转为Linux的文件 ifline[-2:]=="\r\n": line=line+"\n" sys.stdout.write(line)
例子05:利用fileinput对文件简单处理
#FileName:test.py importsys importfileinput forlineinfileinput.input(r'C:\Python27\info.txt'): sys.stdout.write('=>') sys.stdout.write(line) #输出结果 >>> =>TheZenofPython,byTimPeters => =>Beautifulisbetterthanugly. =>Explicitisbetterthanimplicit. =>Simpleisbetterthancomplex. =>Complexisbetterthancomplicated. =>Flatisbetterthannested. =>Sparseisbetterthandense. =>Readabilitycounts. =>Specialcasesaren'tspecialenoughtobreaktherules. =>Althoughpracticalitybeatspurity. =>Errorsshouldneverpasssilently. =>Unlessexplicitlysilenced. =>Inthefaceofambiguity,refusethetemptationtoguess. =>Thereshouldbeone--andpreferablyonlyone--obviouswaytodoit. =>Althoughthatwaymaynotbeobviousatfirstunlessyou'reDutch. =>Nowisbetterthannever. =>Althoughneverisoftenbetterthan*right*now. =>Iftheimplementationishardtoexplain,it'sabadidea. =>Iftheimplementationiseasytoexplain,itmaybeagoodidea. =>Namespacesareonehonkinggreatidea--let'sdomoreofthose!
例子06:利用fileinput批处理文件
#---测试文件:test.txttest1.txttest2.txttest3.txt--- #---脚本文件:test.py--- importfileinput importglob forlineinfileinput.input(glob.glob("test*.txt")): iffileinput.isfirstline(): print'-'*20,'Reading%s...'%fileinput.filename(),'-'*20 printstr(fileinput.lineno())+':'+line.upper(), #---输出结果: >>> --------------------Readingtest.txt...-------------------- 1:AAAAA 2:BBBBB 3:CCCCC 4:DDDDD 5:FFFFF --------------------Readingtest1.txt...-------------------- 6:FIRSTLINE 7:SECONDLINE --------------------Readingtest2.txt...-------------------- 8:THIRDLINE 9:FOURTHLINE --------------------Readingtest3.txt...-------------------- 10:THISISLINE1 11:THISISLINE2 12:THISISLINE3 13:THISISLINE4
例子07:利用fileinput及re做日志分析:提取所有含日期的行
#--样本文件-- aaa 1970-01-0113:45:30 Error:****DuetoSystemDiskspackenotenough... bbb 1970-01-0210:20:30 Error:****DuetoSystemOutofMemory... ccc #---测试脚本--- importre importfileinput importsys pattern='\d{4}-\d{2}-\d{2}\d{2}:\d{2}:\d{2}' forlineinfileinput.input('error.log',backup='.bak',inplace=1): ifre.search(pattern,line): sys.stdout.write("=>") sys.stdout.write(line) #---测试结果--- =>1970-01-0113:45:30 Error:****DuetoSystemDiskspackenotenough... =>1970-01-0210:20:30 Error:****DuetoSystemOutofMemory...
例子08:利用fileinput及re做分析:提取符合条件的电话号码
#---样本文件:phone.txt--- 010-110-12345 800-333-1234 010-99999999 05718888888 021-88888888 #---测试脚本:test.py--- importre importfileinput pattern='[010|021]-\d{8}' #提取区号为010或021电话号码,格式:010-12345678 forlineinfileinput.input('phone.txt'): ifre.search(pattern,line): print'='*50 print'Filename:'+fileinput.filename()+'|LineNumber:'+str(fileinput.lineno())+'|'+line, #---输出结果:--- >>> ================================================== Filename:phone.txt|LineNumber:3|010-99999999 ================================================== Filename:phone.txt|LineNumber:5|021-88888888 >>>
例子09:利用fileinput实现类似于grep的功能
importsys importre importfileinput pattern=re.compile(sys.argv[1]) forlineinfileinput.input(sys.argv[2]): ifpattern.match(line): printfileinput.filename(),fileinput.filelineno(),line $./test.pyimport.*re*.py #查找所有py文件中,含importre字样的 addressBook.py 2 importre addressBook1.py10 importre addressBook2.py18 importre test.py 238importre
例子10:利用fileinput做正则替换
#---测试样本:input.txt *[LearningPython](#author:MarkLutz) #---测试脚本:test.py importfileinput importre forlineinfileinput.input(): line=re.sub(r'\* (.∗) #(.*)',r'<h2id="\2">\1</h2>',line.rstrip()) print(line) #---输出结果: c:\Python27>pythontest.pyinput.txt <h2id="author:MarkLutz">LearningPython</h2>
例子11:利用fileinput做正则替换,不同字模块之间的替换
#---测试样本:test.txt [@!$First]&[*%-Second]&[Third] #---测试脚本:test.py importre importfileinput regex=re.compile(r'^([^&]*)(&)([^&]*)(&)([^&]*)') #整行以&分割,要实现[@!$First]与[*%-Second]互换 forlineinfileinput.input('test.txt',inplace=1,backup='.bak'): printregex.sub(r'\3\2\1\4\5',line), #---输出结果: [*%-Second]&[@!$First]&[Third]
例子12:利用fileinput根据argv命令行输入做替换
#---样本数据:host.txt #localhostisusedtoconfiguretheloopbackinterface #whenthesystemisbooting. Donotchangethisentry. 127.0.0.1 localhost 192.168.100.2 www.test2.com 192.168.100.3 www.test3.com 192.168.100.4 www.test4.com #---测试脚本:test.py importsys importfileinput source=sys.argv[1] target=sys.argv[2] files =sys.argv[3:] forlineinfileinput.input(files,backup='.bak',openhook=fileinput.hook_encoded("gb2312")): #对打开的文件执行中文字符集编码 line=line.rstrip().replace(source,target) printline #---输出结果: c:\>pythontest.py192.168.100127.0.0host.txt #将host文件中,所有192.168.100转换为:127.0.0 127.0.0.1 localhost 127.0.0.2 www.test2.com 127.0.0.3 www.test3.com 127.0.0.4 www.test4.com