浅谈selenium如何应对网页内容需要鼠标滚动加载的问题
相信大家在selenium爬取网页的时候都遇到过这样的问题：就是网页内容需要用鼠标滚动加载剩余内容，而不是一次全部加载出网页的全部内容，这个时候如果要模拟翻页的时候就必须加载出全部的内容，不然定位元素会找不到，出现报错。
这里提供两种方法供大家参考
一，通过selenium模拟浏览器，然后设置浏览器高度足够长，最后延时使之能够将页面的内容都能够加载出来
importtime fromseleniumimportwebdriver driver=webdriver.Firefox() driver.set_window_size(1000,30000) driver.get(url) time.sleep(5)
二，通过selenium模拟浏览器下拉操作
fromseleniumimportwebdriver
importtime
browser.execute_script("window.scrollBy(0,3000)")
time.sleep(1)
browser.execute_script("window.scrollBy(0,5000)")
time.sleep(1)
browser.execute_script("window.scrollBy(0,8000)")
time.sleep(1)
补充知识：针对懒加载如何实现selenium滑动至页面底部page_source一次性包含全部网页内容
有时网站使用了懒加载技术：只有在浏览器中纵向滚动条滚动到指定的位置时，页面的元素才会被动态加载。
注意，在加载之前，selenium的page_source是不会包含该页面的内容,page_source只包含加载出来的页面内容。
那么如何实现加载全部内容了,就需要模拟人滚动滚动条的行为,实现页面的加载
fromselenium.webdriver.chrome.optionsimportOptions
fromseleniumimportwebdriver
fromselenium.common.exceptionsimportTimeoutException
fromselenium.webdriver.support.waitimportWebDriverWait
fromselenium.webdriver.common.byimportBy
fromselenium.webdriver.supportimportexpected_conditionsasEC
defscroll_until_loaded(self):
check_height=self.browser.execute_script("returndocument.body.scrollHeight;")
whileTrue:
self.browser.execute_script("window.scrollTo(0,document.body.scrollHeight);")
try:
self.wait.until(lambdadriver:self.browser.execute_script("returndocument.body.scrollHeight;")>check_height)
check_height=self.browser.execute_script("returndocument.body.scrollHeight;")
exceptTimeoutException:
break
这里懒加载并不是一直有效,当网速不好时,加载超过self.wait()时间,页面还没加载出来时,会认为全部加载完成,page_source里面的代码就会是以前加载出来的,所以执行翻页操作后,要执行time.sleep(3),等待网页加载,更新html再获取网页源代码
以上这篇浅谈selenium如何应对网页内容需要鼠标滚动加载的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。