Golang TCP粘包拆包问题的解决方法
什么是粘包问题
最近在使用Golang编写Socket层，发现有时候接收端会一次读到多个数据包的问题。于是通过查阅资料，发现这个就是传说中的TCP粘包问题。下面通过编写代码来重现这个问题：
服务端代码server/main.go
funcmain(){
l,err:=net.Listen("tcp",":4044")
iferr!=nil{
panic(err)
}
fmt.Println("listento4044")
for{
//监听到新的连接，创建新的goroutine交给handleConn函数处理
conn,err:=l.Accept()
iferr!=nil{
fmt.Println("connerr:",err)
}else{
gohandleConn(conn)
}
}
}
funchandleConn(connnet.Conn){
deferconn.Close()
deferfmt.Println("关闭")
fmt.Println("新连接：",conn.RemoteAddr())
result:=bytes.NewBuffer(nil)
varbuf[1024]byte
for{
n,err:=conn.Read(buf[0:])
result.Write(buf[0:n])
iferr!=nil{
iferr==io.EOF{
continue
}else{
fmt.Println("readerr:",err)
break
}
}else{
fmt.Println("recv:",result.String())
}
result.Reset()
}
}
客户端代码client/main.go
funcmain(){
data:=[]byte("[这里才是一个完整的数据包]")
conn,err:=net.DialTimeout("tcp","localhost:4044",time.Second*30)
iferr!=nil{
fmt.Printf("connectfailed,err:%v\n",err.Error())
return
}
fori:=0;i<1000;i++{
_,err=conn.Write(data)
iferr!=nil{
fmt.Printf("writefailed,err:%v\n",err)
break
}
}
}
运行结果
listento4044
新连接：[::1]:53079
recv:[这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据�
recv:�][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包]
recv:[这里才是一个完整的数据包]
recv:[这里才是一个完整的数据包]
recv:[这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包]
recv:[这里才是一个完整的数据包]
...省略其它的...
从服务端的控制台输出可以看出，存在三种类型的输出：
- 一种是正常的一个数据包输出。
- 一种是多个数据包“粘”在了一起，我们定义这种读到的包为粘包。
- 一种是一个数据包被“拆”开，形成一个破碎的包，我们定义这种包为半包。
为什么会出现半包和粘包？
- 客户端一段时间内发送包的速度太多，服务端没有全部处理完。于是数据就会积压起来，产生粘包。
- 定义的读的buffer不够大，而数据包太大或者由于粘包产生，服务端不能一次全部读完，产生半包。
什么时候需要考虑处理半包和粘包？
TCP连接是长连接，即一次连接多次发送数据。
每次发送的数据是结构的，比如JSON格式的数据或者数据包的协议是由我们自己定义的（包头部包含实际数据长度、协议魔数等）。
解决思路
- 定长分隔(每个数据包最大为该长度，不足时使用特殊字符填充)，但是数据不足时会浪费传输资源
- 使用特定字符来分割数据包，但是若数据中含有分割字符则会出现Bug
- 在数据包中添加长度字段，弥补了以上两种思路的不足，推荐使用
拆包演示
通过上述分析，我们最好通过第三种思路来解决拆包粘包问题。
Golang的bufio库中有为我们提供了Scanner，来解决这类分割数据的问题。
typeScanner
Scannerprovidesaconvenientinterfaceforreadingdatasuchasafileofnewline-delimitedlinesoftext.SuccessivecallstotheScanmethodwillstepthroughthe'tokens'ofafile,skippingthebytesbetweenthetokens.ThespecificationofatokenisdefinedbyasplitfunctionoftypeSplitFunc;thedefaultsplitfunctionbreakstheinputintolineswithlineterminationstripped.Splitfunctionsaredefinedinthispackageforscanningafileintolines,bytes,UTF-8-encodedrunes,andspace-delimitedwords.Theclientmayinsteadprovideacustomsplitfunction.
简单来讲即是：
Scanner为读取数据提供了方便的接口。连续调用Scan方法会逐个得到文件的“tokens”，跳过tokens之间的字节。token的规范由SplitFunc类型的函数定义。我们可以改为提供自定义拆分功能。
接下来看看SplitFunc类型的函数是什么样子的：
typeSplitFuncfunc(data[]byte,atEOFbool)(advanceint,token[]byte,errerror)
Golang官网文档上提供的使用例子