python cookie反爬处理的实现
Cookies的处理
作用
保存客户端的相关状态
在爬虫中如果遇到了cookie的反爬如何处理?
手动处理
在抓包工具中捕获cookie,将其封装在headers中
应用场景:cookie没有有效时长且不是动态变化
自动处理
使用session机制
使用场景:动态变化的cookie
session对象:该对象和requests模块用法几乎一致.如果在请求的过程中产生了cookie,如果该请求使用session发起的,则cookie会被自动存储到session中.
案例
爬取雪球网中的新闻资讯数据:https://xueqiu.com/
#获取一个session对象
importrequests
headers={
'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/75.0.3770.100Safari/537.36'
}
session=requests.Session()
main_url='https://xueqiu.com'#推测对该url发起请求会产生cookie
session.get(main_url,headers=headers)
url='https://xueqiu.com/v4/statuses/public_timeline_by_category.json'
params={
'since_id':'-1',
'max_id':'20346152',
'count':'15',
'category':'-1',
}
page_text=session.get(url,headers=headers,params=params).json()
page_text
到此这篇关于pythoncookie反爬处理的实现的文章就介绍到这了,更多相关pythoncookie反爬内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！