批处理处理文本文件去重复实现代码
最近需要将重复的内容去掉,所以就想到了使用bat或vbs实现,没想到网上已经有人写好了,测试也正好学习一下
使用方法:把文本拖到批处理上就行了。。。
@echooff ::Codebyoicu#lsxk.org2007/11/29 remchcp437>nul ::看情况使用,utf-8编码的文件不能少了chcp命令,一般无需使用, ::但无论是否使用都不支持utf-16的文件。 ::pushd"%~dp1" ::如果不用pushd和popd,文件都要用绝对路径不能只用文件名。 if"%~1"==""goto:EOF setoutputfile=%~dpn1_output%~x1 typenul>"%outputfile%" echoWaiting... for/F"tokens=1*delims=:"%%iin('findstr/n.*"%~1"')do( findstr/B/E/C:"%%j""%outputfile%">nul2>&1||echo.%%j>>"%outputfile%" ) pause start""notepad"%outputfile%" ::popd exit
【在oicu(Oh!Iseeyou!)的大作中提到:】
:去重复倒是行。。缺点就是慢和保留原有的空行了。
以下是vbs实现的代码
以下是这个脚本的源代码,复制后另存为vbs后缀的文件,双击即可运行。文件要放在C盘根下的Text.TXT,请特别注意:文本中一行一条记录,不要有空行。
ConstadOpenStatic=3 ConstadLockOptimistic=3 ConstadCmdText=&H0001 SetobjConnection=CreateObject("ADODB.Connection") SetobjRecordSet=CreateObject("ADODB.Recordset") strPathToTextFile="C:\" strFile="Test.txt" objConnection.Open"Provider=Microsoft.Jet.OLEDB.4.0;"&_ "DataSource="&strPathtoTextFile&";"&_ "ExtendedProperties=""text;HDR=NO;FMT=Delimited""" objRecordSet.Open"SelectDISTINCT*FROM"&strFile,_ objConnection,adOpenStatic,adLockOptimistic,adCmdText DoUntilobjRecordSet.EOF SetobjFSO=CreateObject("Scripting.FileSystemObject") setFp=objFSO.OpenTextFile("C:\test1.txt",8,True,0) fp.WriteLineobjRecordSet.Fields.Item(0).Value fp.close setobjFSO=nothing objRecordSet.MoveNext Loop