python文件排序的方法总结
在python环境中提供两种排序方案：用库函数sorted()对字符串排序，它的对象是字符；用函数sort()对数字排序，它的对象是数字，如果读取文件的话，需要进行处理（把文件后缀名‘屏蔽'）。
（1）首先：我测试的文件夹是/img/，里面的文件都是图片，如下图所示：
（2）测试库函数sorted()，直接贴出代码：
import numpy as np
import os
img_path='./img/'
img_list=sorted(os.listdir(img_path))#文件名按字母排序
img_nums=len(img_list)
for i in range(img_nums):
img_name=img_path+img_list[i]
print(img_name)
运行效果如下：
从图片可以清晰的看出，文件名是按字符排序的。
（3）测试函数sort()，代码：
import numpy as np
import os
img_path='./img/'
img_list=os.listdir(img_path)
img_list.sort()
img_list.sort(key = lambda x: int(x[:-4])) ##文件名按数字排序
img_nums=len(img_list)
for i in range(img_nums):
img_name=img_path+img_list[i]
print(img_name)
运行效果如下：
可以看出，文件名是按数字排序的；顺便提下，sort函数中用到了匿名函数(key=lambdax:int(x[:-4]))，其作用是将后缀名'.jpg'“屏蔽”（因为‘.jpg'是4个字符，所以[:-4]的含义是从文件名开始到倒数第四个字符为止），具体看python的匿名函数和数组取值方式。
实例扩展：
importgzip
importos
frommultiprocessingimportProcess,Queue,Pipe,current_process,freeze_support
fromdatetimeimportdatetime
defsort_worker(input,output):
whileTrue:
lines=input.get().splitlines()
element_set={}
forlineinlines:
ifline.strip()=='STOP':
return
try:
element=line.split('')[0]
ifnotelement_set.get(element):element_set[element]=''
except:
pass
sorted_element=sorted(element_set)
#printsorted_element
output.put('\n'.join(sorted_element))
defwrite_worker(input,pre):
os.system('mkdir%s'%pre)
i=0
whileTrue:
content=input.get()
ifcontent.strip()=='STOP':
return
write_sorted_bulk(content,'%s/%s'%(pre,i))
i+=1
defwrite_sorted_bulk(content,filename):
f=file(filename,'w')
f.write(content)
f.close()
defsplit_sort_file(filename,num_sort=3,buf_size=65536*64*4):
t=datetime.now()
pre,ext=os.path.splitext(filename)
ifext=='.gz':
file_file=gzip.open(filename,'rb')
else:
file_file=open(filename)
bulk_queue=Queue(10)
sorted_queue=Queue(10)
NUM_SORT=num_sort
sort_worker_pool=[]
foriinrange(NUM_SORT):
sort_worker_pool.append(Process(target=sort_worker,args=(bulk_queue,sorted_queue)))
sort_worker_pool[i].start()
NUM_WRITE=1
write_worker_pool=[]
foriinrange(NUM_WRITE):
write_worker_pool.append(Process(target=write_worker,args=(sorted_queue,pre)))
write_worker_pool[i].start()
buf=file_file.read(buf_size)
sorted_count=0
whilelen(buf):
end_line=buf.rfind('\n')
#printbuf[:end_line+1]
bulk_queue.put(buf[:end_line+1])
sorted_count+=1
ifend_line!=-1:
buf=buf[end_line+1:]+file_file.read(buf_size)
else:
buf=file_file.read(buf_size)
foriinrange(NUM_SORT):
bulk_queue.put('STOP')
foriinrange(NUM_SORT):
sort_worker_pool[i].join()
foriinrange(NUM_WRITE):
sorted_queue.put('STOP')
foriinrange(NUM_WRITE):
write_worker_pool[i].join()
print'elasped',datetime.now()-t
returnsorted_count
fromheapqimportheappush,heappop
fromdatetimeimportdatetime
frommultiprocessingimportProcess,Queue,Pipe,current_process,freeze_support
importos
classfile_heap:
def__init__(self,dir,idx=0,count=1):
files=os.listdir(dir)
self.heap=[]
self.files={}
self.bulks={}
self.pre_element=None
foriinrange(len(files)):
file=files[i]
ifhash(file)%count!=idx:continue
input=open(os.path.join(dir,file))
self.files[i]=input
self.bulks[i]=''
heappush(self.heap,(self.get_next_element_buffered(i),i))
defget_next_element_buffered(self,i):
iflen(self.bulks[i])<256:
ifself.files[i]isnotNone:
buf=self.files[i].read(65536)
ifbuf:
self.bulks[i]+=buf
else:
self.files[i].close()
self.files[i]=None
end_line=self.bulks[i].find('\n')
ifend_line==-1:
end_line=len(self.bulks[i])
element=self.bulks[i][:end_line]
self.bulks[i]=self.bulks[i][end_line+1:]
returnelement
defpoppush_uniq(self):
whileTrue:
element=self.poppush()
ifelementisNone:
returnNone
ifelement!=self.pre_element:
self.pre_element=element
returnelement
defpoppush(self):
try:
element,index=heappop(self.heap)
exceptIndexError:
returnNone
new_element=self.get_next_element_buffered(index)
ifnew_element:
heappush(self.heap,(new_element,index))
returnelement
defheappoppush(dir,queue,idx=0,count=1):
heap=file_heap(dir,idx,count)
whileTrue:
d=heap.poppush_uniq()
queue.put(d)
ifdisNone:return
defheappoppush2(dir,queue,count=1):
heap=[]
procs=[]
queues=[]
pre_element=None
foriinrange(count):
q=Queue(1024)
q_buf=queue_buffer(q)
queues.append(q_buf)
p=Process(target=heappoppush,args=(dir,q_buf,i,count))
procs.append(p)
p.start()
queues=tuple(queues)
foriinrange(count):
heappush(heap,(queues[i].get(),i))
whileTrue:
try:
d,i=heappop(heap)
exceptIndexError:
queue.put(None)
forpinprocs:
p.join()
return
else:
ifdisnotNone:
heappush(heap,(queues[i].get(),i))
ifd!=pre_element:
pre_element=d
queue.put(d)
defmerge_file(dir):
heap=file_heap(dir)
os.system('rm-f'+dir+'.merge')
fmerge=open(dir+'.merge','a')
element=heap.poppush_uniq()
fmerge.write(element+'\n')
whileelementisnotNone:
element=heap.poppush_uniq()
fmerge.write(element+'\n')
classqueue_buffer:
def__init__(self,queue):
self.q=queue
self.rbuf=[]
self.wbuf=[]
defget(self):
iflen(self.rbuf)==0:
self.rbuf=self.q.get()
r=self.rbuf[0]
delself.rbuf[0]
returnr
defput(self,d):
self.wbuf.append(d)
ifdisNoneorlen(self.wbuf)>1024:
self.q.put(self.wbuf)
self.wbuf=[]
defdiff_file(file_old,file_new,file_diff,buf=268435456):
print'buffersize',buf
fromfile_splitimportsplit_sort_file
os.system('rm-rf'+os.path.splitext(file_old)[0])
os.system('rm-rf'+os.path.splitext(file_new)[0])
t=datetime.now()
split_sort_file(file_old,5,buf)
split_sort_file(file_new,5,buf)
print'splitelasped',datetime.now()-t
os.system('cat%s/*|wc-l'%os.path.splitext(file_old)[0])
os.system('cat%s/*|wc-l'%os.path.splitext(file_new)[0])
os.system('rm-f'+file_diff)
t=datetime.now()
zdiff=open(file_diff,'a')
old_q=Queue(1024)
new_q=Queue(1024)
old_queue=queue_buffer(old_q)
new_queue=queue_buffer(new_q)
h1=Process(target=heappoppush2,args=(os.path.splitext(file_old)[0],old_queue,3))
h2=Process(target=heappoppush2,args=(os.path.splitext(file_new)[0],new_queue,3))
h1.start(),h2.start()
old=old_queue.get()
new=new_queue.get()
old_count,new_count=0,0
whileoldisnotNoneornewisnotNone:
ifold>neworoldisNone:
zdiff.write('<'+new+'\n')
new=new_queue.get()
new_count+=1
elifold'+old+'\n')
old=old_queue.get()
old_count+=1
else:
old=old_queue.get()
new=new_queue.get()
print'new_count:',new_count
print'old_count:',old_count
print'diffelasped',datetime.now()-t
h1.join(),h2.join()
到此这篇关于python文件排序的方法总结的文章就介绍到这了,更多相关python文件排序都有哪些方法内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。