# 10. Survol de la bibliothèque standard

## 10.1. Interface avec le système d'exploitation

Le module `os` propose des dizaines de fonctions pour interagir avec le système d'exploitation :

    >>> import os
    >>> os.getcwd()      # Return the current working directory
    'C:\\Python38'
    >>> os.chdir('/server/accesslogs')   # Change current working directory
    >>> os.system('mkdir today')   # Run the command mkdir in the system shell
    0

Veillez bien à utiliser `import os` plutôt que `from os import *`, sinon `os.open()` cache la primitive `open()` qui fonctionne différemment.

Les primitives `dir()` et `help()` sont des aides utiles lorsque vous travaillez en mode interactif avez des gros modules comme `os` :

    >>> import os
    >>> dir(os)
    <returns a list of all module functions>
    >>> help(os)
    <returns an extensive manual page created from the module's docstrings>

Pour la gestion des fichiers et dossiers, le module `shutil` expose une interface plus abstraite et plus facile à utiliser :

    >>> import shutil
    >>> shutil.copyfile('data.db', 'archive.db')
    'archive.db'
    >>> shutil.move('/build/executables', 'installdir')
    'installdir'

## 10.2. Jokers sur les noms de fichiers

Le module `glob` fournit une fonction pour construire des listes de fichiers à partir de motifs :

    >>> import glob
    >>> glob.glob('*.py')
    ['primes.py', 'random.py', 'quote.py']

## 10.3. Paramètres passés en ligne de commande

Typiquement, les outils en ligne de commande ont besoin de lire les paramètres qui leur sont donnés. Ces paramètres sont stockés dans la variable `argv` du module `sys` sous la forme d'une liste. Par exemple, l'affichage suivant vient de l'exécution de `python demo.py one two three` depuis la ligne de commande :

    >>> import sys
    >>> print(sys.argv)
    ['demo.py', 'one', 'two', 'three']

Le module `argparse` fournit un mécanisme plus sophistiqué pour traiter les arguments de la ligne de commande. Le script suivant extrait un ou plusieurs noms de fichiers et un nombre facultatif de lignes à afficher :

    import argparse

    parser = argparse.ArgumentParser(prog = 'top',
        description = 'Show top lines from each file')
    parser.add_argument('filenames', nargs='+')
    parser.add_argument('-l', '--lines', type=int, default=10)
    args = parser.parse_args()
    print(args)

Lorsqu'il est exécuté avec la ligne de commande `python top.py --lines=5 alpha.txt beta.txt`, le script définit `args.lines` à `5` et `args.filenames` à `['alpha.txt', 'beta.txt']`.

## 10.4. Redirection de la sortie d'erreur et fin d'exécution

Le module `sys` a aussi des attributs pour stdin, stdout et stderr. Ce dernier est utile pour émettre des messages d'avertissement ou d'erreur qui restent visibles même si stdout est redirigé :

    >>> sys.stderr.write('Warning, log file not found starting a new one\n')
    Warning, log file not found starting a new one

Le moyen le plus direct de terminer un script est d'utiliser `sys.exit()`.

## 10.5. Recherche de motifs dans les chaînes

Le module `re` fournit des outils basés sur les expressions rationnelles permettant des opérations complexes sur les chaînes. C'est une solution optimisée, utilisant une syntaxe concise, pour rechercher des motifs complexes ou effectuer des remplacements complexes dans les chaînes :

    >>> import re
    >>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest')
    ['foot', 'fell', 'fastest']
    >>> re.sub(r'(\b[a-z]+) \1', r'\1', 'cat in the the hat')
    'cat in the hat'

Lorsque les opérations sont simples, il est préférable d'utiliser les méthodes des chaînes. Elles sont plus lisibles et plus faciles à déboguer :

    >>> 'tea for too'.replace('too', 'two')
    'tea for two'

## 10.6. Mathématiques

Le module `math` donne accès aux fonctions sur les nombres à virgule flottante (float en anglais) de la bibliothèque C :

    >>> import math
    >>> math.cos(math.pi / 4)
    0.70710678118654757
    >>> math.log(1024, 2)
    10.0

Le module `random` offre des outils pour faire des tirages aléatoires :

    >>> import random
    >>> random.choice(['apple', 'pear', 'banana'])
    'apple'
    >>> random.sample(range(100), 10)   # sampling without replacement
    [30, 83, 16, 4, 8, 81, 41, 50, 18, 33]
    >>> random.random()    # random float
    0.17970987693706186
    >>> random.randrange(6)    # random integer chosen from range(6)
    4

Le module `statistics` permet de calculer des valeurs statistiques basiques (moyenne, médiane, variance…) :

    >>> import statistics
    >>> data = [2.75, 1.75, 1.25, 0.25, 0.5, 1.25, 3.5]
    >>> statistics.mean(data)
    1.6071428571428572
    >>> statistics.median(data)
    1.25
    >>> statistics.variance(data)
    1.3720238095238095

Le projet SciPy <https://scipy.org> contient beaucoup d'autres modules dédiés aux calculs numériques.

## 10.7. Accès à internet

Il existe beaucoup de modules permettant d'accéder à internet et gérer les protocoles réseaux. Les deux plus simples sont `urllib.request` qui permet de récupérer des données à partir d'une URL et `smtplib` pour envoyer des courriers électroniques :

    >>> from urllib.request import urlopen
    >>> with urlopen('http://tycho.usno.navy.mil/cgi-bin/timer.pl') as response:
    ...     for line in response:
    ...         line = line.decode('utf-8')  # Decoding the binary data to text.
    ...         if 'EST' in line or 'EDT' in line:  # look for Eastern Time
    ...             print(line)

    <BR>Nov. 25, 09:43:32 PM EST

    >>> import smtplib
    >>> server = smtplib.SMTP('localhost')
    >>> server.sendmail('soothsayer@example.org', 'jcaesar@example.org',
    ... """To: jcaesar@example.org
    ... From: soothsayer@example.org
    ...
    ... Beware the Ides of March.
    ... """)
    >>> server.quit()

(Notez que le deuxième exemple a besoin d'un serveur mail tournant localement.)

## 10.8. Dates et heures

Le module `datetime` propose des classes pour manipuler les dates et les heures de manière simple ou plus complexe. Bien que faire des calculs de dates et d'heures soit possible, la priorité de l'implémentation est mise sur l'extraction efficace des attributs pour le formatage et la manipulation. Le module gère aussi les objets dépendant des fuseaux horaires

    >>> # dates are easily constructed and formatted
    >>> from datetime import date
    >>> now = date.today()
    >>> now
    datetime.date(2003, 12, 2)
    >>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")
    '12-02-03. 02 Dec 2003 is a Tuesday on the 02 day of December.'

    >>> # dates support calendar arithmetic
    >>> birthday = date(1964, 7, 31)
    >>> age = now - birthday
    >>> age.days
    14368

## 10.9. Compression de données

Les formats d'archivage et de compression les plus communs sont directement gérés par les modules `zlib`, `gzip`, `bz2`, `lzma`, `zipfile` et `tarfile`

    >>> import zlib
    >>> s = b'witch which has which witches wrist watch'
    >>> len(s)
    41
    >>> t = zlib.compress(s)
    >>> len(t)
    37
    >>> zlib.decompress(t)
    b'witch which has which witches wrist watch'
    >>> zlib.crc32(s)
    226805979

## 10.10. Mesure des performances

Certains utilisateurs de Python sont très intéressés par les performances de différentes approches d'un même problème. Python propose un outil de mesure répondant simplement à ces questions.

Par exemple, pour échanger deux variables, il peut être tentant d'utiliser l'empaquetage et le dépaquetage de tuples plutôt que la méthode traditionnelle. Le module `timeit` montre rapidement le léger gain de performance obtenu :

    >>> from timeit import Timer
    >>> Timer('t=a; a=b; b=t', 'a=1; b=2').timeit()
    0.57535828626024577
    >>> Timer('a,b = b,a', 'a=1; b=2').timeit()
    0.54962537085770791

En opposition à `timeit` et sa granularité fine, `profile` et `pstats` fournissent des outils permettant d'identifier les parties les plus gourmandes en temps d'exécution dans des volumes de code plus grands.

## 10.11. Contrôle qualité

Une approche possible pour développer des applications de très bonne qualité est d'écrire des tests pour chaque fonction au fur et à mesure de son développement, puis d'exécuter ces tests fréquemment lors du processus de développement.

Le module `doctest` cherche des tests dans les chaînes de documentation. Un test ressemble à un simple copier-coller d'un appel et son résultat depuis le mode interactif. Cela améliore la documentation en fournissant des exemples tout en prouvant qu'ils sont justes :

    def average(values):
        """Computes the arithmetic mean of a list of numbers.

        >>> print(average([20, 30, 70]))
        40.0
        """
        return sum(values) / len(values)

    import doctest
    doctest.testmod()   # automatically validate the embedded tests

Le module `unittest` requiert plus d'efforts que le module `doctest` mais il permet de construire un jeu de tests plus complet que l'on fait évoluer dans un fichier séparé :

    import unittest

    class TestStatisticalFunctions(unittest.TestCase):

        def test_average(self):
            self.assertEqual(average([20, 30, 70]), 40.0)
            self.assertEqual(round(average([1, 5, 7]), 1), 4.3)
            with self.assertRaises(ZeroDivisionError):
                average([])
            with self.assertRaises(TypeError):
                average(20, 30, 70)

    unittest.main()  # Calling from the command line invokes all tests

## 10.12. Piles fournies

Python adopte le principe des "piles fournies". Vous pouvez le constater au travers des fonctionnalités évoluées et solides fournies par ses plus gros paquets. Par exemple :

- Les modules `xmlrpc.client` et `xmlrpc.server` permettent d'appeler des fonctions à distance quasiment sans effort. En dépit du nom des modules, aucune connaissance du XML n'est nécessaire.

- Le paquet `email` est une bibliothèque pour gérer les messages électroniques, incluant les MIME et autres encodages basés sur la RFC 2822. Contrairement à `smtplib` et `poplib` qui envoient et reçoivent des messages, le paquet email est une boite à outils pour construire, lire des structures de messages complexes (comprenant des pièces jointes) ou implémenter des encodages et protocoles.

- Le paquet `json` permet de lire et d'écrire du JSON, format d'encodage de données répandu. Le module `csv` gère la lecture et l'écriture de données stockées sous forme de valeurs séparées par des virgules dans des fichiers (Comma-Separated Values en anglais), format typiquement interopérable avec les bases de données et les feuilles de calculs. Pour la lecture du XML, utilisez les paquets `xml.etree.ElementTree`, `xml.dom` et `xml.sax`. Combinés, ces modules et paquets simplifient grandement l'échange de données entre les applications Python et les autres outils.

- Le module `sqlite3` est une abstraction de la bibliothèque SQLite, permettant de manipuler une base de données persistante, accédée et manipulée en utilisant une syntaxe SQL quasi standard.

- L'internationalisation est possible grâce à de nombreux paquets tels que `gettext`, `locale` ou `codecs`.