Ce document est relatif à une vieille version de Python qui n'est plus soutenue. Mettez à jour votre version et lisez Bienvenue sur la documentation de la version stable actuelle de Python.

# `urllib.robotparser` — Analyseur de fichiers robots.txt

Code source : Lib/urllib/robotparser.py

Ce module fournit une simple classe, `RobotFileParser`, qui permet de savoir si un user-agent particulier peut accéder à une URL du site web qui a publié ce fichier `robots.txt`. Pour plus de détails sur la structure des fichiers `robots.txt`, voir http://www.robotstxt.org/orig.html.

class `urllib.robotparser.``RobotFileParser`(url='')

  Cette classe fournit des méthodes pour lire, analyser et répondre aux questions à propos du fichier `robots.txt` disponible à l'adresse url.

  `set_url`(url)

    Modifie l'URL référençant le fichier `robots.txt`.

  `read`()

    Lit le fichier `robots.txt` depuis son URL et envoie le contenu à l'analyseur.

  `parse`(lines)

    Analyse les lignes données en argument.

  `can_fetch`(useragent, url)

    Renvoie `True` si useragent est autorisé à accéder à url selon les règles contenues dans le fichier `robots.txt` analysé.

  `mtime`()

    Renvoie le temps auquel le fichier `robots.txt` a été téléchargé pour la dernière fois. Cela est utile pour des web spiders de longue durée qui doivent vérifier périodiquement si le fichier est mis à jour.

  `modified`()

    Indique que le fichier `robots.txt` a été téléchargé pour la dernière fois au temps courant.

  `crawl_delay`(useragent)

    Renvoie la valeur du paramètre `Crawl-delay` du `robots.txt` pour le useragent en question. S'il n'y a pas de tel paramètre ou qu'il ne s'applique pas au useragent spécifié ou si l'entrée du `robots.txt` pour ce paramètre a une syntaxe invalide, renvoie `None`.

    Nouveau dans la version 3.6.

  `request_rate`(useragent)

    Renvoie le contenu du paramètre `Request-rate` du `robots.txt` sous la forme d'un named tuple `RequestRate(requests, seconds)`. S'il n'y a pas de tel paramètre ou qu'il ne s'applique pas au useragent spécifié ou si l'entrée du `robots.txt` pour ce paramètre a une syntaxe invalide, `None` est renvoyé.

    Nouveau dans la version 3.6.

  `site_maps`()

    Renvoie le contenu du paramètre de `Sitemap` depuis `robots.txt` dans la forme d'une `list()`. S'il n'y a pas de tel paramètre ou qu'il ne s'applique pas au useragent spécifié ou si l'entrée du `robots.txt` pour ce paramètre a une syntaxe invalide, renvoie `None`.

    Nouveau dans la version 3.8.

L'exemple suivant présente une utilisation basique de la classe `RobotFileParser` :

    >>> import urllib.robotparser
    >>> rp = urllib.robotparser.RobotFileParser()
    >>> rp.set_url("http://www.musi-cal.com/robots.txt")
    >>> rp.read()
    >>> rrate = rp.request_rate("*")
    >>> rrate.requests
    3
    >>> rrate.seconds
    20
    >>> rp.crawl_delay("*")
    6
    >>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
    False
    >>> rp.can_fetch("*", "http://www.musi-cal.com/")
    True