urllib.robotparser —- robots.txt 语法分析程序
源代码: Lib/urllib/robotparser.py
此模块提供了一个单独的类 RobotFileParser,它可以回答关于某个特定用户代理能否在发布了 robots.txt
文件的网站抓取特定 URL 的问题。 有关 robots.txt
文件结构的更多细节,请参阅 http://www.robotstxt.org/orig.html。
class urllib.robotparser.RobotFileParser(url=’’)
这个类提供了一些可以读取、解析和回答关于 url 上的 robots.txt
文件的问题的方法。
set_url(url)
设置指向
robots.txt
文件的 URL。read()
读取
robots.txt
URL 并将其输入解析器。parse(lines)
解析行参数。
can_fetch(useragent, url)
如果允许 useragent 按照被解析
robots.txt
文件中的规则来获取 url 则返回True
。mtime()
返回最近一次获取
robots.txt
文件的时间。 这适用于需要定期检查robots.txt
文件更新情况的长时间运行的网页爬虫。modified()
将最近一次获取
robots.txt
文件的时间设置为当前时间。crawl_delay(useragent)
为指定的 useragent 从
robots.txt
返回Crawl-delay
形参。 如果此形参不存在或不适用于指定的 useragent 或者此形参的robots.txt
条目存在语法错误,则返回None
。3.6 新版功能.
request_rate(useragent)
以 named tuple
RequestRate(requests, seconds)
的形式从robots.txt
返回Request-rate
形参的内容。 如果此形参不存在或不适用于指定的 useragent 或者此形参的robots.txt
条目存在语法错误,则返回None
。3.6 新版功能.
site_maps()
以 list() 的形式从
robots.txt
返回Sitemap
形参的内容。 如果此形参不存在或者此形参的robots.txt
条目存在语法错误,则返回None
。3.8 新版功能.
下面的例子演示了 RobotFileParser 类的基本用法:
>>> import urllib.robotparser
>>> rp = urllib.robotparser.RobotFileParser()
>>> rp.set_url("http://www.musi-cal.com/robots.txt")
>>> rp.read()
>>> rrate = rp.request_rate("*")
>>> rrate.requests
3
>>> rrate.seconds
20
>>> rp.crawl_delay("*")
6
>>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
False
>>> rp.can_fetch("*", "http://www.musi-cal.com/")
True