4. Modèle d'exécution

4.1. Structure d'un programme

Un programme Python est construit à partir de blocs de code. Un bloc est un morceau de texte de programme Python qui est exécuté en tant qu'unité. Les éléments suivants sont des blocs : un module, un corps de fonction et une définition de classe. Chaque commande écrite dans l'interpréteur interactif de Python est un bloc. Un fichier de script (un fichier donné en entrée standard à l'interpréteur ou spécifié en tant qu'argument de ligne de commande à l'interpréteur) est un bloc de code. Une commande de script (une commande spécifiée en ligne de commande à l'interpréteur avec l'option -c) est un bloc de code. Un module exécuté en tant que script principal (module __main__) depuis la ligne de commande en utilisant l'option -m est aussi un bloc de code. La chaîne passée en argument aux fonctions natives eval() et exec() est un bloc de code.

Un bloc de code est exécuté dans un cadre d'exécution. Un cadre contient des informations administratives (utilisées pour le débogage) et détermine où et comment l'exécution se poursuit après la fin de l'exécution du bloc de code.

4.2. Noms et liaisons

4.2.1. Liaisons des noms

Les noms sont des références aux objets. Ils sont créés lors des opérations de liaisons de noms (name binding en anglais).

Les noms sont liés via les constructions suivantes :

  • paramètres formels de fonctions,

  • définitions de classes,

  • définitions de fonctions,

  • expressions d'affectation,

  • cibles qui sont des identifiants, lorsque c'est une affectation :

    • de l'entête d'une boucle for,

    • after as in a with statement, except clause, except* clause, or in the as-pattern in structural pattern matching,

    • dans un champ de recherche d'un filtrage par motifs

  • des instructions import.

  • type statements.

  • type parameter lists.

L'instruction import sous la forme from ... import * lie tous les noms définis dans le module importé, sauf ceux qui commencent par le caractère souligné. Cette écriture ne peut être utilisée qu'au niveau du module.

Une cible qui apparaît dans une instruction del est aussi considérée comme une liaison à un nom dans ce cadre (bien que la sémantique véritable soit de délier le nom).

Chaque affectation ou instruction import a lieu dans un bloc défini par une définition de classe ou de fonction, ou au niveau du module (le bloc de code de plus haut niveau).

If a name is bound in a block, it is a local variable of that block, unless declared as nonlocal or global. If a name is bound at the module level, it is a global variable. (The variables of the module code block are local and global.) If a variable is used in a code block but not defined there, it is a free variable.

Chaque occurrence d'un nom dans un programme fait référence à la liaison de ce nom établie par les règles de résolution des noms suivantes.

4.2.2. Résolution des noms

La portée définit la visibilité d'un nom dans un bloc. Si une variable locale est définie dans un bloc, sa portée comprend ce bloc. Si la définition intervient dans le bloc d'une fonction, la portée s'étend à tous les blocs contenus dans celui qui comprend la définition, à moins qu'un bloc intérieur ne définisse une autre liaison pour ce nom.

Quand un nom est utilisé dans un bloc de code, la résolution utilise la portée la plus petite. L'ensemble de toutes les portées visibles dans un bloc de code s'appelle l'environnement du bloc.

Quand un nom n'est trouvé nulle part, une exception NameError est levée. Si la portée courante est celle d'une fonction et que le nom fait référence à une variable locale qui n'a pas encore été liée au moment où le nom est utilisé, une exception UnboundLocalError est levée. UnboundLocalError est une sous-classe de NameError.

If a name binding operation occurs anywhere within a code block, all uses of the name within the block are treated as references to the current block. This can lead to errors when a name is used within a block before it is bound. This rule is subtle. Python lacks declarations and allows name binding operations to occur anywhere within a code block. The local variables of a code block can be determined by scanning the entire text of the block for name binding operations. See the FAQ entry on UnboundLocalError for examples.

If the global statement occurs within a block, all uses of the names specified in the statement refer to the bindings of those names in the top-level namespace. Names are resolved in the top-level namespace by searching the global namespace, i.e. the namespace of the module containing the code block, and the builtins namespace, the namespace of the module builtins. The global namespace is searched first. If the names are not found there, the builtins namespace is searched next. If the names are also not found in the builtins namespace, new variables are created in the global namespace. The global statement must precede all uses of the listed names.

L'instruction global a la même porte qu'une opération de liaison du même bloc. Si la portée englobante la plus petite pour une variable libre contient une instruction global, la variable libre est considérée globale.

The nonlocal statement causes corresponding names to refer to previously bound variables in the nearest enclosing function scope. SyntaxError is raised at compile time if the given name does not exist in any enclosing function scope. Type parameters cannot be rebound with the nonlocal statement.

L'espace de nommage pour un module est créé automatiquement la première fois que le module est importé. Le module principal d'un script s'appelle toujours __main__.

Class definition blocks and arguments to exec() and eval() are special in the context of name resolution. A class definition is an executable statement that may use and define names. These references follow the normal rules for name resolution with an exception that unbound local variables are looked up in the global namespace. The namespace of the class definition becomes the attribute dictionary of the class. The scope of names defined in a class block is limited to the class block; it does not extend to the code blocks of methods. This includes comprehensions and generator expressions, but it does not include annotation scopes, which have access to their enclosing class scopes. This means that the following will fail:

class A:
    a = 42
    b = list(a + i for i in range(10))

However, the following will succeed:

class A:
    type Alias = Nested
    class Nested: pass

print(A.Alias.__value__)  # <type 'A.Nested'>

4.2.3. Annotation scopes

Annotations, type parameter lists and type statements introduce annotation scopes, which behave mostly like function scopes, but with some exceptions discussed below.

Annotation scopes are used in the following contexts:

Annotation scopes differ from function scopes in the following ways:

  • Annotation scopes have access to their enclosing class namespace. If an annotation scope is immediately within a class scope, or within another annotation scope that is immediately within a class scope, the code in the annotation scope can use names defined in the class scope as if it were executed directly within the class body. This contrasts with regular functions defined within classes, which cannot access names defined in the class scope.

  • Expressions in annotation scopes cannot contain yield, yield from, await, or := expressions. (These expressions are allowed in other scopes contained within the annotation scope.)

  • Names defined in annotation scopes cannot be rebound with nonlocal statements in inner scopes. This includes only type parameters, as no other syntactic elements that can appear within annotation scopes can introduce new names.

  • While annotation scopes have an internal name, that name is not reflected in the qualified name of objects defined within the scope. Instead, the __qualname__ of such objects is as if the object were defined in the enclosing scope.

Ajouté dans la version 3.12: Annotation scopes were introduced in Python 3.12 as part of PEP 695.

Modifié dans la version 3.13: Annotation scopes are also used for type parameter defaults, as introduced by PEP 696.

Modifié dans la version 3.14: Annotation scopes are now also used for annotations, as specified in PEP 649 and PEP 749.

4.2.4. Lazy evaluation

Most annotation scopes are lazily evaluated. This includes annotations, the values of type aliases created through the type statement, and the bounds, constraints, and default values of type variables created through the type parameter syntax. This means that they are not evaluated when the type alias or type variable is created, or when the object carrying annotations is created. Instead, they are only evaluated when necessary, for example when the __value__ attribute on a type alias is accessed.

Exemple :

>>> type Alias = 1/0
>>> Alias.__value__
Traceback (most recent call last):
  ...
ZeroDivisionError: division by zero
>>> def func[T: 1/0](): pass
>>> T = func.__type_params__[0]
>>> T.__bound__
Traceback (most recent call last):
  ...
ZeroDivisionError: division by zero

Here the exception is raised only when the __value__ attribute of the type alias or the __bound__ attribute of the type variable is accessed.

This behavior is primarily useful for references to types that have not yet been defined when the type alias or type variable is created. For example, lazy evaluation enables creation of mutually recursive type aliases:

from typing import Literal

type SimpleExpr = int | Parenthesized
type Parenthesized = tuple[Literal["("], Expr, Literal[")"]]
type Expr = SimpleExpr | tuple[SimpleExpr, Literal["+", "-"], Expr]

Lazily evaluated values are evaluated in annotation scope, which means that names that appear inside the lazily evaluated value are looked up as if they were used in the immediately enclosing scope.

Ajouté dans la version 3.12.

4.2.5. Noms natifs et restrictions d'exécution

L'utilisateur ne doit pas toucher à __builtins__ ; c'est et cela doit rester réservé aux besoins de l'implémentation. Les utilisateurs qui souhaitent surcharger des valeurs dans l'espace de nommage natif doivent importer le module builtins et modifier ses attributs judicieusement.

L'espace de nommage natif associé à l'exécution d'un bloc de code est effectivement trouvé en cherchant le nom __builtins__ dans l'espace de nommage globaux ; ce doit être un dictionnaire ou un module (dans ce dernier cas, le dictionnaire du module est utilisé). Par défaut, lorsque l'on se trouve dans le module __main__, __builtins__ est le module natif builtins ; lorsque l'on se trouve dans tout autre module, __builtins__ est un pseudonyme du dictionnaire du module builtins lui-même.

4.2.6. Interaction avec les fonctionnalités dynamiques

La résolution des noms de variables libres intervient à l'exécution, pas à la compilation. Cela signifie que le code suivant affiche 42 :

i = 10
def f():
    print(i)
i = 42
f()

Les fonctions eval() et exec() n'ont pas accès à l'environnement complet pour résoudre les noms. Les noms doivent être résolus dans les espaces de nommage locaux et globaux de l'appelant. Les variables libres ne sont pas résolues dans l'espace de nommage englobant le plus proche mais dans l'espace de nommage globaux [1]. Les fonctions eval() et exec() possèdent des arguments optionnels pour surcharger les espaces de nommage globaux et locaux. Si seulement un espace de nommage est spécifié, il est utilisé pour les deux.

4.3. Exceptions

Les exceptions sont un moyen de sortir du flot normal d'exécution d'un bloc de code de manière à gérer des erreurs ou des conditions exceptionnelles. Une exception est levée au moment où l'erreur est détectée ; elle doit être gérée par le bloc de code qui l'entoure ou par tout bloc de code qui a, directement ou indirectement, invoqué le bloc de code où l'erreur s'est produite.

L'interpréteur Python lève une exception quand il détecte une erreur à l'exécution (telle qu'une division par zéro). Un programme Python peut aussi lever explicitement une exception avec l'instruction raise. Les gestionnaires d'exception sont spécifiés avec l'instruction try … except. La clause finally d'une telle instruction peut être utilisée pour spécifier un code de nettoyage qui ne gère pas l'exception mais qui est exécuté quoi qu'il arrive (exception ou pas).

Python utilise le modèle par terminaison de gestion des erreurs : un gestionnaire d'exception peut trouver ce qui est arrivé et continuer l'exécution à un niveau plus élevé, mais il ne peut pas réparer l'origine de l'erreur et ré-essayer l'opération qui a échoué (sauf à entrer à nouveau dans le code en question par le haut).

Quand une exception n'est pas du tout gérée, l'interpréteur termine l'exécution du programme ou retourne à la boucle interactive. Dans ces cas, il affiche une trace de la pile d'appels, sauf si l'exception est SystemExit.

Les exceptions sont identifiées par des instances de classe. La clause except sélectionnée dépend de la classe de l'instance : elle doit faire référence à la classe de l'instance ou à une de ses classes ancêtres non virtuelles. L'instance peut être transmise au gestionnaire et peut apporter des informations complémentaires sur les conditions de l'exception.

Note

Les messages d'exception ne font pas partie de l'API Python. Leur contenu peut changer d'une version de Python à une autre sans avertissement et le code ne doit pas reposer sur ceux-ci s'il doit fonctionner sur plusieurs versions de l'interpréteur.

Reportez-vous aussi aux descriptions de l'instruction try dans la section L'instruction try et de l'instruction raise dans la section L'instruction raise.

4.4. Runtime Components

4.4.1. General Computing Model

Python's execution model does not operate in a vacuum. It runs on a host machine and through that host's runtime environment, including its operating system (OS), if there is one. When a program runs, the conceptual layers of how it runs on the host look something like this:

host machine
process (global resources)
thread (runs machine code)

Each process represents a program running on the host. Think of each process itself as the data part of its program. Think of the process' threads as the execution part of the program. This distinction will be important to understand the conceptual Python runtime.

The process, as the data part, is the execution context in which the program runs. It mostly consists of the set of resources assigned to the program by the host, including memory, signals, file handles, sockets, and environment variables.

Processes are isolated and independent from one another. (The same is true for hosts.) The host manages the process' access to its assigned resources, in addition to coordinating between processes.

Each thread represents the actual execution of the program's machine code, running relative to the resources assigned to the program's process. It's strictly up to the host how and when that execution takes place.

From the point of view of Python, a program always starts with exactly one thread. However, the program may grow to run in multiple simultaneous threads. Not all hosts support multiple threads per process, but most do. Unlike processes, threads in a process are not isolated and independent from one another. Specifically, all threads in a process share all of the process' resources.

The fundamental point of threads is that each one does run independently, at the same time as the others. That may be only conceptually at the same time ("concurrently") or physically ("in parallel"). Either way, the threads effectively run at a non-synchronized rate.

Note

That non-synchronized rate means none of the process' memory is guaranteed to stay consistent for the code running in any given thread. Thus multi-threaded programs must take care to coordinate access to intentionally shared resources. Likewise, they must take care to be absolutely diligent about not accessing any other resources in multiple threads; otherwise two threads running at the same time might accidentally interfere with each other's use of some shared data. All this is true for both Python programs and the Python runtime.

The cost of this broad, unstructured requirement is the tradeoff for the kind of raw concurrency that threads provide. The alternative to the required discipline generally means dealing with non-deterministic bugs and data corruption.

4.4.2. Python Runtime Model

The same conceptual layers apply to each Python program, with some extra data layers specific to Python:

host machine
process (global resources)
Python global runtime (state)
Python interpreter (state)
thread (runs Python bytecode and "C-API")
Python thread state

At the conceptual level: when a Python program starts, it looks exactly like that diagram, with one of each. The runtime may grow to include multiple interpreters, and each interpreter may grow to include multiple thread states.

Note

A Python implementation won't necessarily implement the runtime layers distinctly or even concretely. The only exception is places where distinct layers are directly specified or exposed to users, like through the threading module.

Note

The initial interpreter is typically called the "main" interpreter. Some Python implementations, like CPython, assign special roles to the main interpreter.

Likewise, the host thread where the runtime was initialized is known as the "main" thread. It may be different from the process' initial thread, though they are often the same. In some cases "main thread" may be even more specific and refer to the initial thread state. A Python runtime might assign specific responsibilities to the main thread, such as handling signals.

As a whole, the Python runtime consists of the global runtime state, interpreters, and thread states. The runtime ensures all that state stays consistent over its lifetime, particularly when used with multiple host threads.

The global runtime, at the conceptual level, is just a set of interpreters. While those interpreters are otherwise isolated and independent from one another, they may share some data or other resources. The runtime is responsible for managing these global resources safely. The actual nature and management of these resources is implementation-specific. Ultimately, the external utility of the global runtime is limited to managing interpreters.

In contrast, an "interpreter" is conceptually what we would normally think of as the (full-featured) "Python runtime". When machine code executing in a host thread interacts with the Python runtime, it calls into Python in the context of a specific interpreter.

Note

The term "interpreter" here is not the same as the "bytecode interpreter", which is what regularly runs in threads, executing compiled Python code.

In an ideal world, "Python runtime" would refer to what we currently call "interpreter". However, it's been called "interpreter" at least since introduced in 1997 (CPython:a027efa5b).

Each interpreter completely encapsulates all of the non-process-global, non-thread-specific state needed for the Python runtime to work. Notably, the interpreter's state persists between uses. It includes fundamental data like sys.modules. The runtime ensures multiple threads using the same interpreter will safely share it between them.

A Python implementation may support using multiple interpreters at the same time in the same process. They are independent and isolated from one another. For example, each interpreter has its own sys.modules.

For thread-specific runtime state, each interpreter has a set of thread states, which it manages, in the same way the global runtime contains a set of interpreters. It can have thread states for as many host threads as it needs. It may even have multiple thread states for the same host thread, though that isn't as common.

Each thread state, conceptually, has all the thread-specific runtime data an interpreter needs to operate in one host thread. The thread state includes the current raised exception and the thread's Python call stack. It may include other thread-specific resources.

Note

The term "Python thread" can sometimes refer to a thread state, but normally it means a thread created using the threading module.

Each thread state, over its lifetime, is always tied to exactly one interpreter and exactly one host thread. It will only ever be used in that thread and with that interpreter.

Multiple thread states may be tied to the same host thread, whether for different interpreters or even the same interpreter. However, for any given host thread, only one of the thread states tied to it can be used by the thread at a time.

Thread states are isolated and independent from one another and don't share any data, except for possibly sharing an interpreter and objects or other resources belonging to that interpreter.

Once a program is running, new Python threads can be created using the threading module (on platforms and Python implementations that support threads). Additional processes can be created using the os, subprocess, and multiprocessing modules. Interpreters can be created and used with the interpreters module. Coroutines (async) can be run using asyncio in each interpreter, typically only in a single thread (often the main thread).

Notes