Python多线程爬取豆瓣影评API接口
爬虫库
使用简单的requests库,这是一个阻塞的库,速度比较慢。
解析使用XPATH表达式
总体采用类的形式
多线程
使用concurrent.future并发模块,建立线程池,把future对象扔进去执行即可实现并发爬取效果
数据存储
使用PythonORMsqlalchemy保存到数据库,也可以使用自带的csv模块存在CSV中。
API接口
因为API接口存在数据保护情况,一个电影的每一个分类只能抓取前25页,全部评论、好评、中评、差评所有分类能爬100页,每页有20个数据,即最多为两千条数据。
因为时效性原因,不保证代码能爬到数据,只是给大家一个参考思路,上代码:
fromdatetimeimportdatetime importrandom importcsv fromconcurrent.futuresimportThreadPoolExecutor,as_completed fromlxmlimportetree importpymysql importrequests frommodelsimportcreate_session,Comments #随机UA USERAGENT=[ 'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/535.1(KHTML,likeGecko)Chrome/14.0.835.163Safari/535.1', 'Mozilla/5.0(Macintosh;IntelMacOSX10_12_6)AppleWebKit/537.36(KHTML,likeGecko)Chrome/73.0.3683.103Safari/537.36', 'Mozilla/5.0(WindowsNT6.1;WOW64;rv:6.0)Gecko/20100101Firefox/6.0', 'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50', 'Opera/9.80(WindowsNT6.1;U;zh-cn)Presto/2.9.168Version/11.50', 'Mozilla/5.0(Windows;U;WindowsNT6.1;)AppleWebKit/534.12(KHTML,likeGecko)Maxthon/3.0Safari/534.12' ] classCommentFetcher: headers={'User-Agent':''} cookie='' cookies={'cookie':cookie} #cookie为登录后的cookie,需要自行复制 base_node='//div[@class="comment-item"]' def__init__(self,movie_id,start,type=''): ''' :type:全部评论:'',好评:h中评:m差评:l :movie_id:影片的ID号 :start:开始的记录数,0-480 ''' self.movie_id=movie_id self.start=start self.type=type self.url='https://movie.douban.com/subject/{id}/comments?start={start}&limit=20&sort=new_score\&status=P&percent_type={type}&comments_only=1'.format( id=str(self.movie_id), start=str(self.start), type=self.type ) #创建数据库连接 self.session=create_session() #随机useragent def_random_UA(self): self.headers['User-Agent']=random.choice(USERAGENT) #获取api接口,使用get方法,返回的数据为json数据,需要提取里面的HTML def_get(self): self._random_UA() res='' try: res=requests.get(self.url,cookies=self.cookies,headers=self.headers) res=res.json()['html'] exceptExceptionase: print('IP被封,请使用代理IP') print('正在获取{}开始的记录'.format(self.start)) returnres def_parse(self): res=self._get() dom=etree.HTML(res) #id号 self.id=dom.xpath(self.base_node+'/@data-cid') #用户名 self.username=dom.xpath(self.base_node+'/div[@class="avatar"]/a/@title') #用户连接 self.user_center=dom.xpath(self.base_node+'/div[@class="avatar"]/a/@href') #点赞数 self.vote=dom.xpath(self.base_node+'//span[@class="votes"]/text()') #星级 self.star=dom.xpath(self.base_node+'//span[contains(@class,"rating")]/@title') #发表时间 self.time=dom.xpath(self.base_node+'//span[@class="comment-time"]/@title') #评论内容所有span标签class名为short的节点文本 self.content=dom.xpath(self.base_node+'//span[@class="short"]/text()') #保存到数据库 defsave_to_database(self): self._parse() foriinrange(len(self.id)): try: comment=Comments( id=int(self.id[i]), username=self.username[i], user_center=self.user_center[i], vote=int(self.vote[i]), star=self.star[i], time=datetime.strptime(self.time[i],'%Y-%m-%d%H:%M:%S'), content=self.content[i] ) self.session.add(comment) self.session.commit() return'finish' exceptpymysql.err.IntegrityErrorase: print('数据重复,不做任何处理') exceptExceptionase: #数据添加错误,回滚 self.session.rollback() finally: #关闭数据库连接 self.session.close() #保存到csv defsave_to_csv(self): self._parse() f=open('comment.csv','w',encoding='utf-8') csv_in=csv.writer(f,dialect='excel') foriinrange(len(self.id)): csv_in.writerow([ int(self.id[i]), self.username[i], self.user_center[i], int(self.vote[i]), self.time[i], self.content[i] ]) f.close() if__name__=='__main__': withThreadPoolExecutor(max_workers=4)asexecutor: futures=[] foriin['','h','m','l']: forjinrange(25): fetcher=CommentFetcher(movie_id=26266893,start=j*20,type=i) futures.append(executor.submit(fetcher.save_to_csv)) forfinas_completed(futures): try: res=f.done() ifres: ret_data=f.result() ifret_data=='finish': print('{}成功保存数据'.format(str(f))) exceptExceptionase: f.cancel()
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。