Python中Scrapy爬虫图片处理详解
下载图片
下载图片有两种方式,一种是通过Requests模块发送get请求下载,另一种是使用Scrapy的ImagesPipeline图片管道类,这里主要讲后者。
安装Scrapy时并没有安装图像处理依赖包Pillow,需手动安装否则运行爬虫出错。
首先在settings.py中设置图片的存储路径:
IMAGES_STORE='D:/'
图片处理相关的选项还有:
#图片最小高度和宽度设置,可以过滤太小的图片 IMAGES_MIN_HEIGHT=110 IMAGES_MIN_WIDTH=110 #生成缩略图选项 IMAGES_THUMBS={ 'small':(50,50), 'big':(270,270), }
之前已经存在提取内容的TuchongPipeline类,如果使用ImagePipeline可以将提取内容的操作都合并过来,但是为了更好的说明图片管道的作用,我们再单独创建一个ImagePipeline类,加到pipelines.py文件中,同时重载函数get_media_requests:
classPhotoGalleryPipeline(object): ... classPhotoPipeline(ImagesPipeline): defget_media_requests(self,item,info): for(id,url)initem['images'].items(): yieldscrapy.Request(url)
上篇文章中我们把图片的URL保存在了item['images']中,它是一个字典类型的数组,形如:[{img_id:img_url},...],此函数中需要把img_url取出并构建为scrapy.Request请求对象并返回,每一个请求都将触发一次下载图片的操作。
到settings.py中注册PhotoPipeline,并把优先级设的比提取内容的管道要高一些,保证图片下载优先于内容处理,目的是如果有图片下载未成功,通过触发DropItem异常可以中断这一个Item的处理,防止不完整的数据进入下一管道:
ITEM_PIPELINES={ 'Toutiao.pipelines.PhotoGalleryPipeline':300, 'Toutiao.pipelines.PhotoPipeline':200, }
执行爬虫scrapycrawlphoto,如无错误,在设定的存储目录中会出现一个full目录,里面是下载后的图片。
文件名处理
下载的文件名是以图片URL通过sha1编码得到的字符,类似0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg不是太友好,可以通过重载file_path函数自定义文件名,比如可以这样保留原文件名:
... deffile_path(self,request,response=None,info=None): file_name=request.url.split('/')[-1] return'full/%s'%(file_name) ...
上面这样处理难免会有重名的文件被覆盖,但参数request中没有过多的信息,不便于对图片分类,因此可以改为重载item_completed函数,在下载完成后对图片进行分类操作。
函数item_completed的定义:
defitem_completed(self,results,item,info)
参数中包含item,有我们抓取的所有信息,参数results为下载图片的结果数组,包含下载后的路径以及是否成功下载,内容如下:
[(True, {'checksum':'2b00042f7481c7b056c4b410d28f33cf', 'path':'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg', 'url':'http://www.example.com/files/product1.pdf'}), (False, Failure(...))]
重载该函数将下载图片转移到分类目录中,同时关联文件路径到item中,保持内容与图片为一个整体:
defitem_completed(self,results,item,info): image_paths={x['url'].split('/')[-1]:x['path']forok,xinresultsifok} ifnotimage_paths: #下载失败忽略该Item的后续处理 raiseDropItem("Itemcontainsnofiles") else: #将图片转移至以post_id为名的子目录中 for(dest,src)inimage_paths.items(): dir=settings.IMAGES_STORE newdir=dir+os.path.dirname(src)+'/'+item['post_id']+'/' ifnotos.path.exists(newdir): os.makedirs(newdir) os.rename(dir+src,newdir+dest) #将保存路径保存于item中(image_paths需要在items.py中定义) item['image_paths']=image_paths returnitem
接下来在原TuchongPipeline类中写入数据库的操作中,通过item['image_paths']路径信息写入本地图片链接。
除了ImagesPipeline处理图片外,还有FilesPipeline可以处理文件,使用方法与图片类似,事实上ImagesPipeline是FilesPipeline的子类,因为图片也是文件的一种。