检测python爬虫时是否代理ip伪装成功的方法
有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。
Python¶ requests #!-*-encoding:utf-8-*- importrequests importrandom #要访问的目标页面 targetUrl="http://httpbin.org/ip" #要访问的目标HTTPS页面 #targetUrl="https://httpbin.org/ip" #代理服务器 proxyHost="t.16yun.cn" proxyPort="31111" #代理隧道验证信息 proxyUser="16ZKBRLB" proxyPass="234076" proxyMeta="http://%(user)s:%(pass)s@%(host)s:%(port)s"%{ "host":proxyHost, "port":proxyPort, "user":proxyUser, "pass":proxyPass, } #设置http和https访问都是用HTTP代理 proxies={ "http":proxyMeta, "https":proxyMeta, } #设置IP切换头 tunnel=random.randint(1,10000) headers={"Proxy-Tunnel":str(tunnel)} resp=requests.get(targetUrl,proxies=proxies,headers=headers) printresp.status_code printresp.text
要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。