Python实现的txt文件去重功能示例
本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考，具体如下：
#-*-coding:utf-8-*-
#!python2
importshutil
a=0
readDir="/Users/Administrator/Desktop/old.txt"#old
writeDir="/Users/Administrator/Desktop/new.txt"#new
#txtDir="/home/Administrator/Desktop/１"
lines_seen=set()
outfile=open(writeDir,"w")
f=open(readDir,"r")
forlineinf:
iflinenotinlines_seen:
a+=1
outfile.write(line)
lines_seen.add(line)
print(a)
print('\n')
outfile.close()
print("success")
其中old.tx如下：
www.nhooo.com
www.baidu.com
www.sina.com.cn
www.nhooo.com
www.google.com
www.sohu.com
www.nhooo.com
www.163.com
运行后new.txt内容如下：
www.nhooo.com
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com
PS：这里再为大家提供几款相关工具供大家参考使用：
在线去除重复项工具：
http://tools.jb51.net/code/quchong
在线文本去重复工具：
http://tools.jb51.net/aideddesign/txt_quchong
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python文件与目录操作技巧汇总》、《Python文本文件操作技巧汇总》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。