urllib.robotparser-Python中robots.txt的解析器
网站所有者使用/robots.txt文件向网络机器人提供有关其网站的说明；这称为机器人排除协议。该文件是一个简单的基于文本的访问控制系统，用于自动访问Web资源的计算机程序。此类程序称为蜘蛛，爬虫等。该文件指定用户代理标识符，后跟该代理可能无法访问的URL列表。
例如
#robots.txt Sitemap: https://example.com/sitemap.xml User-agent: * Disallow: /admin/ Disallow: /downloads/ Disallow: /media/ Disallow: /static/
该文件通常放在Web服务器的顶级目录中。
Python的urllib.robotparser模块提供了RobotFileParser类。它回答有关特定用户代理是否可以在发布robots.txt文件的网站上获取URL的问题。
在RobotFileParser类中定义了以下方法
set_url(url)
此方法设置指向robots.txt文件的URL。
读()
此方法读取robots.txtURL，并将其提供给解析器。
parse()
此方法解析lines参数。
can_fetch()
如果用户代理能够根据robots.txt中包含的规则提取网址，则此方法返回True。
mtime()
此方法返回上次获取robots.txt文件的时间。
改性()
此方法设置上次获取robots.txt的时间。
crawl_delay()
此方法返回所涉及的用户代理的抓取延迟参数robots.txt的值。
request_rate()
此方法以命名元组RequestRate(requests,seconds)的形式返回Request-rate参数的内容。
示例
from urllib import parse from urllib import robotparser AGENT_NAME = 'PyMOTW' URL_BASE = 'https://example.com/' parser = robotparser.RobotFileParser() parser.set_url(parse.urljoin(URL_BASE, 'robots.txt')) parser.read()