21.10. urllib.robotparser — robots.txt 语法分析程序¶
源代码： Lib/urllib/robotparser.py
此模块提供了一个单独的类 RobotFileParser，它可以回答关于某个特定用户代理是否能在 Web 站点获取发布 robots.txt 文件的 URL 的问题。 有关 robots.txt 文件结构的更多细节请参阅 http://www.robotstxt.org/orig.html。
-
class
urllib.robotparser.RobotFileParser(url='')¶ 这个类提供了一些可以读取、解析和回答关于 url 上的
robots.txt文件的问题的方法。-
set_url(url)¶ 设置指向
robots.txt文件的 URL。
-
read()¶ 读取
robots.txtURL 并将其输入解析器。
-
parse(lines)¶ 解析行参数。
-
can_fetch(useragent, url)¶ 如果允许 useragent 按照被解析
robots.txt文件中的规则来获取 url 则返回True。
-
mtime()¶ 返回最近一次获取
robots.txt文件的时间。 这适用于需要定期检查robots.txt文件更新情况的长时间运行的网页爬虫。
-
modified()¶ 将最近一次获取
robots.txt文件的时间设置为当前时间。
-
The following example demonstrates basic use of the RobotFileParser class.
>>> import urllib.robotparser
>>> rp = urllib.robotparser.RobotFileParser()
>>> rp.set_url("http://www.musi-cal.com/robots.txt")
>>> rp.read()
>>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
False
>>> rp.can_fetch("*", "http://www.musi-cal.com/")
True