好资源导航 » 文章资讯 » Python爬虫库requests获取响应内容、响应状态码、响应头

Python爬虫库requests获取响应内容、响应状态码、响应头

2023-08-02 15:34:08 80

首先在程序中引入Requests模块

importrequests

一、获取不同类型的响应内容

在发送请求后，服务器会返回一个响应内容，而且requests通常会自动解码响应内容

1.文本响应内容

获取文本类型的响应内容

r=requests.get('https://www.baidu.com')
r.text#通过文本的形式获取响应内容

'\r\nç\x99¾åo|ä¸\x80ä¸\x8bï¼\x8cä½\xa0å°±ç\x9f￥é\x81\x93

æ\x96°é\x97»hao123å\x9c°å\x9b¾è§\x86é￠\x91è′′å\x90§æ\x9b′å¤\x9aäo§å\x93\x81

å\x853äo\x8eç\x99¾åo|AboutBaidu

\r\n'

通过encoding来获取响应内容的编码以及修改编码

r.encoding

'ISO-8859-1'

2.二进制响应内容

r.content#通过content获取的内容便是二进制类型的

3.JSON响应内容

r.json()

4.原始响应内容

r=requests.get('https://www.baidu.com',stream=True)
print(r.raw)#就是urllib中的HTTPResponse对象
print(r.raw.read(10))


b'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'

二、响应状态码

获取响应状态码

r=requests.get('https://www.baidu.com')
r.status_code

判断响应状态码

r.status_code==requests.codes.ok

True

当发送一个错误请求时，抛出异常

bad_r=requests.get('http://httpbin.org/status/404')
print(bad_r.status_code)
bad_r.raise_for_status()

404



---------------------------------------------------------------------------

HTTPErrorTraceback(mostrecentcalllast)

in()
1bad_r=requests.get('http://httpbin.org/status/404')
2print(bad_r.status_code)
---->3bad_r.raise_for_status()


D:\Anaconda3\lib\site-packages\requests\models.pyinraise_for_status(self)
926
927ifhttp_error_msg:
-->928raiseHTTPError(http_error_msg,response=self)
929
930defclose(self):


HTTPError:404ClientError:NOTFOUNDforurl:http://httpbin.org/status/404

三、响应头

获取响应头

r=requests.get('https://www.baidu.com')
r.headers

{'Cache-Control':'private,no-cache,no-store,proxy-revalidate,no-transform','Connection':'Keep-Alive','Content-Encoding':'gzip','Content-Type':'text/html','Date':'Mon,23Jul201809:04:12GMT','Last-Modified':'Mon,23Jan201713:23:51GMT','Pragma':'no-cache','Server':'bfe/1.0.8.18','Set-Cookie':'BDORZ=27315;max-age=86400;domain=.baidu.com;path=/','Transfer-Encoding':'chunked'}

获取响应头的具体字段

print(r.headers['Server'])
print(r.headers.get('Server'))

bfe/1.0.8.18
bfe/1.0.8.18

更多关于Python爬虫库requestsr的使用方法请查看下面的相关链接

声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

返回顶部
514930285
czq8825@qq.com

Python爬虫库requests获取响应内容、响应状态码、响应头

热门推荐

随机推荐