python爬虫添加请求头代码实例
这篇文章主要介绍了python爬虫添加请求头代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
request
importrequests headers={ #'Accept':'application/json,text/javascript,*/*;q=0.01', #'Accept':'*/*', #'Accept-Language':'zh-CN,zh;q=0.9,en;q=0.8,en-US;q=0.7', #'Cache-Control':'no-cache', #'accept-encoding':'gzip,deflate,br', 'User-Agent':'Mozilla/5.0(X11;Linuxx86_64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/78.0.3904.97Safari/537.36', 'Referer':'https://www.google.com/' } resp=requests.get('http://httpbin.org/get',headers=headers) print(resp.content)
urllib
importurllib,urllib2 defget_page_source(url): headers={'Accept':'*/*', 'Accept-Language':'en-US,en;q=0.8', 'Cache-Control':'max-age=0', 'User-Agent':'Mozilla/5.0(X11;Linuxx86_64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/48.0.2564.116Safari/537.36', 'Connection':'keep-alive', 'Referer':'http://www.baidu.com/' } req=urllib2.Request(url,None,headers) response=urllib2.urlopen(req) page_source=response.read() returnpage_source
phantomjs请求页面
fromseleniumimportwebdriver fromselenium.webdriver.common.desired_capabilitiesimportDesiredCapabilities defget_headers_driver(): desire=DesiredCapabilities.PHANTOMJS.copy() headers={'Accept':'*/*', 'Accept-Language':'en-US,en;q=0.8', 'Cache-Control':'max-age=0', 'User-Agent':'Mozilla/5.0(X11;Linuxx86_64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/48.0.2564.116Safari/537.36', 'Connection':'keep-alive', 'Referer':'http://www.baidu.com/' } forkey,valueinheaders.iteritems(): desire['phantomjs.page.customHeaders.{}'.format(key)]=value driver=webdriver.PhantomJS(desired_capabilities=desire,service_args=['--load-images=yes'])#将yes改成no可以让浏览器不加载图片 returndriver
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。