python selenium爬取斗鱼所有直播房间信息过程详解
还是分析一下大体的流程:
首先还是Chrome浏览器抓包分析元素,这是网址:https://www.douyu.com/directory/all
发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作
分析斗鱼的翻页,有一个下一页按钮,是个li,class="dy-Pagination-item-custom",但是当烦到最后一页的时候,class="dy-Pagination-disableddy-Pagination-next",所以我们要想利用selenium模拟点击这个按钮,我们应该利用
get_elements_by_xpath()这个函数,这样到最后一页就获取不到了,就可以终止程序了。而用elements的原因是当到最后一页的时候获取不到的话,element会报错
然后还是通用的套路:发送请求获取响应、提取数据和下一页的元素、保存数据、点击下一页的元素循环......
遇到的两个坑:
需要用time.sleep()函数强制等待页面加载完再获取元素,否则报错,睡几秒就看你的网速了
xpath定位的时候,网页上有的类如这样:class="abc"或者class="abc",前面或后面有空格的,xpath处理的时候也必须有空格,否则获取不到
代码实现:
importtime fromseleniumimportwebdriver classDouyuSpider(object): def__init__(self): self.start_rul='https://www.douyu.com/directory/all' self.driver=webdriver.Chrome() defget_content_list(self): time.sleep(10)#强制等待10秒,否则可能报错 li_list=self.driver.find_elements_by_xpath('//ul[@class="layout-Cover-list"]/li') content_list=[] forliinli_list: item={} item['room_img']=li.find_element_by_xpath('.//img[@class="DyImg-contentis-normal"]').get_attribute('src') item['room_title']=li.find_element_by_xpath('.//h3[@class="DyListCover-intro"]').text item['root_category']=li.find_element_by_xpath('.//span[@class="DyListCover-zone"]').text item['author_name']=li.find_element_by_class_name('DyListCover-user').text item['watch_num']=li.find_element_by_class_name('DyListCover-hot').text content_list.append(item) print(item)#打印每次获取到的直播房间的信息 #获取下一页的元素,为了防止没有报错,这里用elements,翻到最后一页一定就没有了,返回一个列表 next_url=self.driver.find_elements_by_xpath('//li[@class="dy-Pagination-next"]') next_url=next_url[0]iflen(next_url)>0elseNone returncontent_list,next_url defsave_content_list(self,content_list): pass#保存数据这里就不再做演示 defrun(self):#实现主要逻辑 #1.start_url #2.发送请求,获取响应 self.driver.maximize_window() self.driver.get(self.start_rul) #3.提取数据,提取下一页的元素 content_list,next_url=self.get_content_list() #4.保存数据 self.save_content_list(content_list) #4.点击下一页元素,循环 whilenext_urlisnotNone: next_url.click() content_list,next_url=self.get_content_list() self.save_content_list(content_list) if__name__=='__main__': douban=DouyuSpider() douban.run()
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。