Node.js 如何利用异步提升任务处理速度
今天在做一个小任务,需要调用阿里云的图像识别接口,对62662张照片进行场景识别,并将结果写到本地的csv文件中。
因为任务很简单,没想很多就开始码。自从有了async/await之后,已经很久不写callback了,所以上手就写成这样:
本文所有代码均有简化,只保留关键过程
asyncfetchSceneTags(imagePath){ try{ constresult=awaitcallAliyunAPI(imagePath); returnresult.errno===0?result.tags:[]; }catch(error){ return[]; } } asyncfunctionwriteScene(paths){ for(leti=0,len=paths.length;i运行起来以后没问题就放着忙别的去了。过了差不多2小时回来一看,才跑了17180张图,每分钟144张。这才意识到同步速度太慢了,于是停掉进程,将代码改成下面这样:
fetchSceneTagsAsync(imagePath,callback){ callAliyunAPI(imagePath) .then(result=>{ consttags=result.errno===0?result.tags:[]; callback(tags); }) .catch(error=>callback([])); } functionwriteSceneAsync(paths){ constcallback=tags=>{ awaittags=fetchSceneTagsAsync(paths[i]) writeToFile(tags); } paths.forEach(path=>fetchSceneTagsAsync(path,callback)); } functionstart(){ constpaths=loadPaths(); writeSceneAsync(paths); }跑了一下,直接停摆了。嗯,不能一下把请求全发出去,加一个Throttle:
fetchSceneTagsAsync(imagePath,callback){ callAliyunAPI(imagePath) .then(result=>{ consttags=result.errno===0?result.tags:[]; callback(tags); }) .catch(error=>callback([])); } functionthrottle(paths,callback){ if(paths.length===0)return; constsub=paths.splice(0,10); sub.forEach(path=>fetchSceneTagsAsync(path,callback)); setTimeout(()=>throttle(paths,callback),1000) } functionwriteSceneAsync(paths){ constcallback=tags=>{ awaittags=fetchSceneTagsAsync(paths[i]) writeToFile(tags); } throttle(paths,callback) } functionstart(){ constpaths=loadPaths(); writeSceneAsync(paths); }重新启动服务,观察了一下,大约每分钟处理568张图片,速度提升约4倍。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。