10. Survol de la bibliothèque standard

10.1. Interface avec le système d'exploitation

Le module os propose des dizaines de fonctions pour interagir avec le système d'exploitation :

>>> import os
>>> os.getcwd()      # Return the current working directory
'C:\\Python38'
>>> os.chdir('/server/accesslogs')   # Change current working directory
>>> os.system('mkdir today')   # Run the command mkdir in the system shell
0

Veillez bien à utiliser import os plutôt que from os import *, sinon os.open() cache la primitive open() qui fonctionne différemment.

Les primitives dir() et help() sont des aides utiles lorsque vous travaillez en mode interactif avez des gros modules comme os :

>>> import os
>>> dir(os)
<returns a list of all module functions>
>>> help(os)
<returns an extensive manual page created from the module's docstrings>

Pour la gestion des fichiers et dossiers, le module shutil expose une interface plus abstraite et plus facile à utiliser :

>>> import shutil
>>> shutil.copyfile('data.db', 'archive.db')
'archive.db'
>>> shutil.move('/build/executables', 'installdir')
'installdir'

10.2. Jokers sur les noms de fichiers

Le module glob fournit une fonction pour construire des listes de fichiers à partir de motifs :

>>> import glob
>>> glob.glob('*.py')
['primes.py', 'random.py', 'quote.py']

10.3. Paramètres passés en ligne de commande

Typiquement, les outils en ligne de commande ont besoin de lire les paramètres qui leur sont donnés. Ces paramètres sont stockés dans la variable argv du module sys sous la forme d'une liste. Par exemple, l'affichage suivant vient de l'exécution de python demo.py one two three depuis la ligne de commande :

>>> import sys
>>> print(sys.argv)
['demo.py', 'one', 'two', 'three']

Le module argparse fournit un mécanisme plus sophistiqué pour traiter les arguments de la ligne de commande. Le script suivant extrait un ou plusieurs noms de fichiers et un nombre facultatif de lignes à afficher :

import argparse

parser = argparse.ArgumentParser(prog = 'top',
    description = 'Show top lines from each file')
parser.add_argument('filenames', nargs='+')
parser.add_argument('-l', '--lines', type=int, default=10)
args = parser.parse_args()
print(args)

Lorsqu'il est exécuté avec la ligne de commande python top.py --lines=5 alpha.txt beta.txt, le script définit args.lines à 5 et args.filenames à ['alpha.txt', 'beta.txt'].

10.4. Redirection de la sortie d'erreur et fin d'exécution

Le module sys a aussi des attributs pour stdin, stdout et stderr. Ce dernier est utile pour émettre des messages d'avertissement ou d'erreur qui restent visibles même si stdout est redirigé :

>>> sys.stderr.write('Warning, log file not found starting a new one\n')
Warning, log file not found starting a new one

Le moyen le plus direct de terminer un script est d'utiliser sys.exit().

10.5. Recherche de motifs dans les chaînes

Le module re fournit des outils basés sur les expressions rationnelles permettant des opérations complexes sur les chaînes. C'est une solution optimisée, utilisant une syntaxe concise, pour rechercher des motifs complexes ou effectuer des remplacements complexes dans les chaînes :

>>> import re
>>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest')
['foot', 'fell', 'fastest']
>>> re.sub(r'(\b[a-z]+) \1', r'\1', 'cat in the the hat')
'cat in the hat'

Lorsque les opérations sont simples, il est préférable d'utiliser les méthodes des chaînes. Elles sont plus lisibles et plus faciles à déboguer :

>>> 'tea for too'.replace('too', 'two')
'tea for two'

10.6. Mathématiques

Le module math donne accès aux fonctions sur les nombres à virgule flottante (float en anglais) de la bibliothèque C :

>>> import math
>>> math.cos(math.pi / 4)
0.70710678118654757
>>> math.log(1024, 2)
10.0

Le module random offre des outils pour faire des tirages aléatoires :

>>> import random
>>> random.choice(['apple', 'pear', 'banana'])
'apple'
>>> random.sample(range(100), 10)   # sampling without replacement
[30, 83, 16, 4, 8, 81, 41, 50, 18, 33]
>>> random.random()    # random float
0.17970987693706186
>>> random.randrange(6)    # random integer chosen from range(6)
4

Le module statistics permet de calculer des valeurs statistiques basiques (moyenne, médiane, variance…) :

>>> import statistics
>>> data = [2.75, 1.75, 1.25, 0.25, 0.5, 1.25, 3.5]
>>> statistics.mean(data)
1.6071428571428572
>>> statistics.median(data)
1.25
>>> statistics.variance(data)
1.3720238095238095

Le projet SciPy <https://scipy.org> contient beaucoup d'autres modules dédiés aux calculs numériques.

10.7. Accès à internet

Il existe beaucoup de modules permettant d'accéder à internet et gérer les protocoles réseaux. Les deux plus simples sont urllib.request qui permet de récupérer des données à partir d'une URL et smtplib pour envoyer des courriers électroniques :

>>> from urllib.request import urlopen
>>> with urlopen('http://tycho.usno.navy.mil/cgi-bin/timer.pl') as response:
...     for line in response:
...         line = line.decode('utf-8')  # Decoding the binary data to text.
...         if 'EST' in line or 'EDT' in line:  # look for Eastern Time
...             print(line)

<BR>Nov. 25, 09:43:32 PM EST

>>> import smtplib
>>> server = smtplib.SMTP('localhost')
>>> server.sendmail('soothsayer@example.org', 'jcaesar@example.org',
... """To: jcaesar@example.org
... From: soothsayer@example.org
...
... Beware the Ides of March.
... """)
>>> server.quit()

(Notez que le deuxième exemple a besoin d'un serveur mail tournant localement.)

10.8. Dates et heures

Le module datetime propose des classes pour manipuler les dates et les heures de manière simple ou plus complexe. Bien que faire des calculs de dates et d'heures soit possible, la priorité de l'implémentation est mise sur l'extraction efficace des attributs pour le formatage et la manipulation. Le module gère aussi les objets dépendant des fuseaux horaires

>>> # dates are easily constructed and formatted
>>> from datetime import date
>>> now = date.today()
>>> now
datetime.date(2003, 12, 2)
>>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")
'12-02-03. 02 Dec 2003 is a Tuesday on the 02 day of December.'

>>> # dates support calendar arithmetic
>>> birthday = date(1964, 7, 31)
>>> age = now - birthday
>>> age.days
14368

10.9. Compression de données

Les formats d'archivage et de compression les plus communs sont directement gérés par les modules zlib, gzip, bz2, lzma, zipfile et tarfile

>>> import zlib
>>> s = b'witch which has which witches wrist watch'
>>> len(s)
41
>>> t = zlib.compress(s)
>>> len(t)
37
>>> zlib.decompress(t)
b'witch which has which witches wrist watch'
>>> zlib.crc32(s)
226805979

10.10. Mesure des performances

Certains utilisateurs de Python sont très intéressés par les performances de différentes approches d'un même problème. Python propose un outil de mesure répondant simplement à ces questions.

Par exemple, pour échanger deux variables, il peut être tentant d'utiliser l'empaquetage et le dépaquetage de tuples plutôt que la méthode traditionnelle. Le module timeit montre rapidement le léger gain de performance obtenu :

>>> from timeit import Timer
>>> Timer('t=a; a=b; b=t', 'a=1; b=2').timeit()
0.57535828626024577
>>> Timer('a,b = b,a', 'a=1; b=2').timeit()
0.54962537085770791

En opposition à timeit et sa granularité fine, profile et pstats fournissent des outils permettant d'identifier les parties les plus gourmandes en temps d'exécution dans des volumes de code plus grands.

10.11. Contrôle qualité

Une approche possible pour développer des applications de très bonne qualité est d'écrire des tests pour chaque fonction au fur et à mesure de son développement, puis d'exécuter ces tests fréquemment lors du processus de développement.

Le module doctest cherche des tests dans les chaînes de documentation. Un test ressemble à un simple copier-coller d'un appel et son résultat depuis le mode interactif. Cela améliore la documentation en fournissant des exemples tout en prouvant qu'ils sont justes :

def average(values):
    """Computes the arithmetic mean of a list of numbers.

    >>> print(average([20, 30, 70]))
    40.0
    """
    return sum(values) / len(values)

import doctest
doctest.testmod()   # automatically validate the embedded tests

Le module unittest requiert plus d'efforts que le module doctest mais il permet de construire un jeu de tests plus complet que l'on fait évoluer dans un fichier séparé :

import unittest

class TestStatisticalFunctions(unittest.TestCase):

    def test_average(self):
        self.assertEqual(average([20, 30, 70]), 40.0)
        self.assertEqual(round(average([1, 5, 7]), 1), 4.3)
        with self.assertRaises(ZeroDivisionError):
            average([])
        with self.assertRaises(TypeError):
            average(20, 30, 70)

unittest.main()  # Calling from the command line invokes all tests

10.12. Piles fournies

Python adopte le principe des "piles fournies". Vous pouvez le constater au travers des fonctionnalités évoluées et solides fournies par ses plus gros paquets. Par exemple :

  • Les modules xmlrpc.client et xmlrpc.server permettent d'appeler des fonctions à distance quasiment sans effort. En dépit du nom des modules, aucune connaissance du XML n'est nécessaire.

  • Le paquet email est une bibliothèque pour gérer les messages électroniques, incluant les MIME et autres encodages basés sur la RFC 2822. Contrairement à smtplib et poplib qui envoient et reçoivent des messages, le paquet email est une boite à outils pour construire, lire des structures de messages complexes (comprenant des pièces jointes) ou implémenter des encodages et protocoles.

  • Le paquet json permet de lire et d'écrire du JSON, format d'encodage de données répandu. Le module csv gère la lecture et l'écriture de données stockées sous forme de valeurs séparées par des virgules dans des fichiers (Comma-Separated Values en anglais), format typiquement interopérable avec les bases de données et les feuilles de calculs. Pour la lecture du XML, utilisez les paquets xml.etree.ElementTree, xml.dom et xml.sax. Combinés, ces modules et paquets simplifient grandement l'échange de données entre les applications Python et les autres outils.

  • Le module sqlite3 est une abstraction de la bibliothèque SQLite, permettant de manipuler une base de données persistante, accédée et manipulée en utilisant une syntaxe SQL quasi standard.

  • L'internationalisation est possible grâce à de nombreux paquets tels que gettext, locale ou codecs.