Esta documentação é de uma versão antiga do Python que não é mais atualizada. Você deveria atualizar e ler a Documentação do Python para versão estável atual.

# `urllib.robotparser` — Parser for robots.txt

Código-fonte: Lib/urllib/robotparser.py

This module provides a single class, `RobotFileParser`, which answers questions about whether or not a particular user agent can fetch a URL on the Web site that published the `robots.txt` file. For more details on the structure of `robots.txt` files, see http://www.robotstxt.org/orig.html.

class `urllib.robotparser.``RobotFileParser`(url='')

  Esta classe fornece métodos para ler, analisar e responder perguntas sobre o arquivo `robots.txt` em url.

  `set_url`(url)

    Define a URL referente a um arquivo `robots.txt`.

  `read`()

    Lê o URL `robots.txt` e o alimenta para o analisador sintático.

  `parse`(lines)

    Analisa o argumento de linhas.

  `can_fetch`(useragent, url)

    Retorna `True` se o useragent tiver permissão para buscar a url de acordo com as regras contidas no arquivo `robots.txt` analisado.

  `mtime`()

    Retorna o horário em que o arquivo `robots.txt` foi buscado pela última vez. Isso é útil para web spiders de longa duração que precisam verificar novos arquivos `robots.txt` periodicamente.

  `modified`()

    Define a hora em que o arquivo `robots.txt` foi buscado pela última vez para a hora atual.

  `crawl_delay`(useragent)

    Retorna o valor do parâmetro `Crawl-delay` de `robots.txt` para o useragent em questão. Se não houver tal parâmetro ou se ele não se aplicar ao useragent especificado ou se a entrada `robots.txt` para este parâmetro tiver sintaxe inválida, retorna `None`.

    Novo na versão 3.6.

  `request_rate`(useragent)

    Retorna o conteúdo do parâmetro `Request-rate` de `robots.txt` como uma tupla nomeada `RequestRate(requests, seconds)`. Se não houver tal parâmetro ou se ele não se aplicar ao useragent especificado ou se a entrada `robots.txt` para este parâmetro tiver sintaxe inválida, retorna `None`.

    Novo na versão 3.6.

  `site_maps`()

    Retorna o conteúdo do parâmetro `Sitemap` de `robots.txt` no formato de uma `list()`. Se não houver tal parâmetro ou a entrada `robots.txt` para este parâmetro tiver sintaxe inválida, retorna `None`.

    Novo na versão 3.8.

O exemplo a seguir demonstra o uso básico da classe `RobotFileParser`:

    >>> import urllib.robotparser
    >>> rp = urllib.robotparser.RobotFileParser()
    >>> rp.set_url("http://www.musi-cal.com/robots.txt")
    >>> rp.read()
    >>> rrate = rp.request_rate("*")
    >>> rrate.requests
    3
    >>> rrate.seconds
    20
    >>> rp.crawl_delay("*")
    6
    >>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
    False
    >>> rp.can_fetch("*", "http://www.musi-cal.com/")
    True