Flutter Http分块下载与断点续传的实现

2023-08-26 21:35:06 74
本文来自笔者所著《Flutter实战》,读者也可以点击查看在线电子版。
基础知识
Http协议定义了分块传输的响应header字段，但具体是否支持取决于Server的实现，我们可以指定请求头的"range"字段来验证服务器是否支持分块传输。例如，我们可以利用curl命令来验证：
bogon:~duwen$curl-H"Range:bytes=0-10"http://download.dcloud.net.cn/HBuilder.9.0.2.macosx_64.dmg-v
#请求头
>GET/HBuilder.9.0.2.macosx_64.dmgHTTP/1.1
>Host:download.dcloud.net.cn
>User-Agent:curl/7.54.0
>Accept:*/*
>Range:bytes=0-10
#响应头

我们在请求头中添加"Range:bytes=0-10"的作用是，告诉服务器本次请求我们只想获取文件0-10(包括10，共11字节)这块内容。如果服务器支持分块传输的话，则响应状态码为206，表示“部分内容”，并且同时响应头中变会包含”Content-Range“字段，如果不支持则不会包含，我们看看上面"Content-Range"的内容：


Content-Range:bytes0-10/233295878
0-10表示本次返回的区块，233295878代表文件的总长度，单位都是byte, 也就是该文件大概233M多一点。


实现


综上所述，我们可以设计一个简单的多线程的文件分块下载器，实现的思路是：

先检测是否支持分块传输，如果不支持，则直接下载；若支持，则将剩余内容分块下载。
各个分块下载时保存到各自临时文件，等到所有分块下载完后合并临时文件。
删除临时文件。

下面是整体的流程：


//通过第一个分块请求检测服务器是否支持分块传输
Responseresponse=awaitdownloadChunk(url,0,firstChunkSize,0);
if(response.statusCode==206){//如果支持
//解析文件总长度，进而算出剩余长度
total=int.parse(
response.headers.value(HttpHeaders.contentRangeHeader).split("/").last);
intreserved=total-
int.parse(response.headers.value(HttpHeaders.contentLengthHeader));
//文件的总块数(包括第一块)
intchunk=(reserved/firstChunkSize).ceil()+1;
if(chunk>1){
intchunkSize=firstChunkSize;
if(chunk>maxChunk+1){
chunk=maxChunk+1;
chunkSize=(reserved/maxChunk).ceil();
}
varfutures=[];
for(inti=0;i
下面我们使用Flutter下著名的Http库dio的downloadAPI实现downloadChunk：


//start代表当前块的起始位置，end代表结束位置
//no代表当前是第几块
FuturedownloadChunk(url,start,end,no)async{
progress.add(0);//progress记录每一块已接收数据的长度
--end;
returndio.download(
url,
savePath+"temp$no",//临时文件按照块的序号命名，方便最后合并
onReceiveProgress:createCallback(no),//创建进度回调，后面实现
options:Options(
headers:{"range":"bytes=$start-$end"},//指定请求的内容区间
),
);
}

接下来实现mergeTempFiles:


FuturemergeTempFiles(chunk)async{
Filef=File(savePath+"temp0");
IOSinkioSink=f.openWrite(mode:FileMode.writeOnlyAppend);
//合并临时文件
for(inti=1;i
下面我们看一下完整实现：


///Downloadingbyspitingasfileinchunks
FuturedownloadWithChunks(
url,
savePath,{
ProgressCallbackonReceiveProgress,
})async{
constfirstChunkSize=102;
constmaxChunk=3;

inttotal=0;
vardio=Dio();
varprogress=[];

createCallback(no){
return(intreceived,_){
progress[no]=received;
if(onReceiveProgress!=null&&total!=0){
onReceiveProgress(progress.reduce((a,b)=>a+b),total);
}
};
}

FuturedownloadChunk(url,start,end,no)async{
progress.add(0);
--end;
returndio.download(
url,
savePath+"temp$no",
onReceiveProgress:createCallback(no),
options:Options(
headers:{"range":"bytes=$start-$end"},
),
);
}

FuturemergeTempFiles(chunk)async{
Filef=File(savePath+"temp0");
IOSinkioSink=f.openWrite(mode:FileMode.writeOnlyAppend);
for(inti=1;i1){
intchunkSize=firstChunkSize;
if(chunk>maxChunk+1){
chunk=maxChunk+1;
chunkSize=(reserved/maxChunk).ceil();
}
varfutures=[];
for(inti=0;i
现在可以进行分块下载了：


main()async{
varurl="http://download.dcloud.net.cn/HBuilder.9.0.2.macosx_64.dmg";
varsavePath="./example/HBuilder.9.0.2.macosx_64.dmg";
awaitdownloadWithChunks(url,savePath,onReceiveProgress:(received,total){
if(total!=-1){
print("${(received/total*100).floor()}%");
}
});
}

思考
分块下载真的能提高下载速度吗？


其实下载速度的主要瓶颈是取决于网络速度和服务器的出口速度，如果是同一个数据源，分块下载的意义并不大，因为服务器是同一个，出口速度确定的，主要取决于网速，而上面的例子正式同源分块下载，读者可以自己对比一下分块和不分块的的下载速度。如果有多个下载源，并且每个下载源的出口带宽都是有限制的，这时分块下载可能会更快一下，之所以说“可能”，是由于这并不是一定的，比如有三个源，三个源的出口带宽都为1G/s，而我们设备所连网络的峰值假设只有800M/s，那么瓶颈就在我们的网络。即使我们设备的带宽大于任意一个源，下载速度依然不一定就比单源单线下载快，试想一下，假设有两个源A和B，速度A源是B源的3倍，如果采用分块下载，两个源各下载一半的话，读者可以算一下所需的下载时间，然后再算一下只从A源下载所需的时间，看看哪个更快。


分块下载的最终速度受设备所在网络带宽、源出口速度、每个块大小、以及分块的数量等诸多因素影响，实际过程中很难保证速度最优。在实际开发中，读者可可以先测试对比后再决定是否使用。
分块下载有什么实际的用处吗？


分块下载还有一个比较使用的场景是断点续传，可以将文件分为若干个块，然后维护一个下载状态文件用以记录每一个块的状态，这样即使在网络中断后，也可以恢复中断前的状态，具体实现读者可以自己尝试一下，还是有一些细节需要特别注意的，比如分块大小多少合适？下载到一半的块如何处理？要不要维护一个任务队列？


以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
Flutter Http分块下载与断点续传的实现

热门推荐

随机推荐
