如何利用Golang解析读取Mysql备份文件
前言
前期误操作,导致数据库表删除,虽然数据量不多,但是通过binlog恢复比较麻烦,通过备份文件来恢复,备份文件达36个G打开都是问题;
使用备份文件恢复
大文件编辑器,glogg-latest-x86_64-setup通过该文件打开备份文件,虽然过程稍慢,但是能够打开,且正常读取编辑信息,要恢复的数据量不大时采取是没问题的,但是如果表几十万行,操作起来就比较麻烦了;
Golang读取备份文件
采用Golang读取,借助编程语言的优势来读取备份,经过测试读取指定备份文件(约36GB)表,大约需要12min,其实主要就是读取遍历备份文件的过程;
** *@Author:ws *@File:main *@Date:2019/11/16001614:35 *@Remark: */ var( _INSERT_INTO="INSERTINTO${table}VALUES" _Dir="temp" ) varTABLE_CAR="T_SCM_CAR" funcReadSqlFile(){ t1:=time.Now()//getcurrenttime f,err:=os.Open("E:\\update\\crm_20191112_210001.sql\\crm_20191112_210001.sql") deferf.Close() iferr!=nil{ } buf:=bufio.NewReader(f) nfs:=getTxtFile(TABLE_CAR) for{ s,err:=buf.ReadString('\n') if(err!=nil){ logger.ERROR(err.Error()) break } iferr==nil{ ifs==""{ continue } sqlstr:=getSqlStr(s,TABLE_CAR) if(sqlstr!=""){ nfs.Write([]byte(sqlstr)) } } } elapsed:=time.Since(t1) fmt.Println("Appelapsed:",elapsed) } /** 调整验证每一行数据的格式化,并与预设是否一致,如果一致则读取加载到 */ funcgetSqlStr(sqlstr,tableNamestring)string{ varrealTableName=strings.Replace(_INSERT_INTO,"${table}",tableName,-1) replaceEmptyStr:=strings.Replace(sqlstr,"","",-1) tempS:=strings.ToUpper(strings.Replace(replaceEmptyStr,"`","",-1)) if(len(tempS)>=len(realTableName)){ tabName:=tempS[0:len(realTableName)] if(tabName==realTableName){ returnsqlstr } } return"" } /** 打开txt文件 */ funcgetTxtFile(fileNamestring)os.File{ txtFile:=createToFile(fmt.Sprintf("%v/%v.txt",_Dir,fileName)) nfs,err:=os.OpenFile(txtFile.Name(),os.O_APPEND|os.O_RDWR|os.O_CREATE,0644) iferr!=nil{ logger.ERROR(fmt.Sprintf("打开文件失败:%v",err.Error())) } defernfs.Close() nfs.Seek(0,io.SeekEnd) return*nfs } funcreadLine(r*bufio.Reader)(string,error){ line,isprefix,err:=r.ReadLine() forisprefix&&err==nil{ varbs[]byte bs,isprefix,err=r.ReadLine() line=append(line,bs...) } returnstring(line),err } funccreateToFile(fileNamestring)os.File{ _,err:=os.Stat(_Dir) iferr==nil{ } ifos.IsNotExist(err){ os.MkdirAll(_Dir,os.ModePerm) } newFile,err:=os.Create(fileName) iferr!=nil{ logger.ERROR(fmt.Sprintf("文件创建失败:%v",err.Error())) } deferfunc(){ newFile.Close() }() newFile.WriteString("\xEF\xBB\xBF")//写入UTF-8BOM,防止中文乱码 return*newFile } funcmain(){ ReadSqlFile() }
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对毛票票的支持。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。