4. Модель виконання

4.1. Структура програми

Програма Python складається з блоків коду. block — це частина тексту програми Python, яка виконується як одиниця. Це блоки: модуль, тіло функції та визначення класу. Кожна команда, введена в інтерактивному режимі, є блоком. Файл сценарію (файл, наданий інтерпретатору як стандартний ввід або вказаний як аргумент командного рядка для інтерпретатора) є блоком коду. Команда сценарію (команда, указана в командному рядку інтерпретатора з опцією -c) — це блок коду. Модуль, запущений як сценарій верхнього рівня (як модуль __main__) з командного рядка за допомогою аргументу -m, також є блоком коду. Рядковий аргумент, який передається до вбудованих функцій eval() і exec(), є блоком коду.

Блок коду виконується у execution frame. Кадр містить деяку адміністративну інформацію (використовується для налагодження) і визначає, де і як виконання продовжується після завершення виконання блоку коду.

4.2. Називання та зв’язування

4.2.1. Прив’язка імен

Names стосуються об’єктів. Імена вводяться за допомогою операцій зв’язування імен.

Наступні конструкції зв’язують імена:

  • формальні параметри функцій,

  • визначення класів,

  • визначення функцій,

  • вирази присвоєння,

  • targets, які є ідентифікаторами, якщо зустрічаються у призначенні:

    • for заголовок циклу,

    • after as in a with statement, except clause, except* clause, or in the as-pattern in structural pattern matching,

    • у шаблоні захоплення в зіставленні структурного шаблону

  • import оператори.

  • type statements.

  • type parameter lists.

Оператор import у формі from ... import * прив’язує всі імена, визначені в імпортованому модулі, за винятком тих, що починаються з підкреслення. Цю форму можна використовувати лише на рівні модуля.

Ціль, що зустрічається в операторі del, також вважається зв’язаною для цієї мети (хоча фактична семантика полягає в тому, щоб роз’єднати ім’я).

Кожен оператор призначення або імпорту відбувається в блоці, визначеному визначенням класу чи функції, або на рівні модуля (блок коду верхнього рівня).

If a name is bound in a block, it is a local variable of that block, unless declared as nonlocal or global. If a name is bound at the module level, it is a global variable. (The variables of the module code block are local and global.) If a variable is used in a code block but not defined there, it is a free variable.

Кожне входження імені в текст програми посилається на binding цього імені, встановлене наступними правилами розпізнавання імен.

4.2.2. Розділення імен

scope визначає видимість імені в блоці. Якщо локальна змінна визначена в блоці, її область включає цей блок. Якщо визначення міститься у функціональному блоці, область поширюється на будь-які блоки, що містяться в визначальному, якщо тільки блок не вводить іншу прив’язку для імені.

Коли ім’я використовується в блоці коду, воно розпізнається за допомогою найближчої охоплюючої області. Набір усіх таких областей, видимих для блоку коду, називається environment блоку.

Якщо ім’я взагалі не знайдено, виникає виняток NameError. Якщо поточна область є областю функції, а ім’я посилається на локальну змінну, яка ще не прив’язана до значення в точці, де використовується ім’я, виникає виняток UnboundLocalError. UnboundLocalError є підкласом NameError.

If a name binding operation occurs anywhere within a code block, all uses of the name within the block are treated as references to the current block. This can lead to errors when a name is used within a block before it is bound. This rule is subtle. Python lacks declarations and allows name binding operations to occur anywhere within a code block. The local variables of a code block can be determined by scanning the entire text of the block for name binding operations. See the FAQ entry on UnboundLocalError for examples.

If the global statement occurs within a block, all uses of the names specified in the statement refer to the bindings of those names in the top-level namespace. Names are resolved in the top-level namespace by searching the global namespace, i.e. the namespace of the module containing the code block, and the builtins namespace, the namespace of the module builtins. The global namespace is searched first. If the names are not found there, the builtins namespace is searched next. If the names are also not found in the builtins namespace, new variables are created in the global namespace. The global statement must precede all uses of the listed names.

Оператор global має ту саму область дії, що й операція прив’язки імені в тому самому блоці. Якщо найближча охоплююча область для вільної змінної містить глобальний оператор, вільна змінна розглядається як глобальна.

The nonlocal statement causes corresponding names to refer to previously bound variables in the nearest enclosing function scope. SyntaxError is raised at compile time if the given name does not exist in any enclosing function scope. Type parameters cannot be rebound with the nonlocal statement.

Простір імен для модуля створюється автоматично під час першого імпорту модуля. Основний модуль для сценарію завжди називається __main__.

Class definition blocks and arguments to exec() and eval() are special in the context of name resolution. A class definition is an executable statement that may use and define names. These references follow the normal rules for name resolution with an exception that unbound local variables are looked up in the global namespace. The namespace of the class definition becomes the attribute dictionary of the class. The scope of names defined in a class block is limited to the class block; it does not extend to the code blocks of methods. This includes comprehensions and generator expressions, but it does not include annotation scopes, which have access to their enclosing class scopes. This means that the following will fail:

class A:
    a = 42
    b = list(a + i for i in range(10))

However, the following will succeed:

class A:
    type Alias = Nested
    class Nested: pass

print(A.Alias.__value__)  # <type 'A.Nested'>

4.2.3. Annotation scopes

Annotations, type parameter lists and type statements introduce annotation scopes, which behave mostly like function scopes, but with some exceptions discussed below.

Annotation scopes are used in the following contexts:

Annotation scopes differ from function scopes in the following ways:

  • Annotation scopes have access to their enclosing class namespace. If an annotation scope is immediately within a class scope, or within another annotation scope that is immediately within a class scope, the code in the annotation scope can use names defined in the class scope as if it were executed directly within the class body. This contrasts with regular functions defined within classes, which cannot access names defined in the class scope.

  • Expressions in annotation scopes cannot contain yield, yield from, await, or := expressions. (These expressions are allowed in other scopes contained within the annotation scope.)

  • Names defined in annotation scopes cannot be rebound with nonlocal statements in inner scopes. This includes only type parameters, as no other syntactic elements that can appear within annotation scopes can introduce new names.

  • While annotation scopes have an internal name, that name is not reflected in the qualified name of objects defined within the scope. Instead, the __qualname__ of such objects is as if the object were defined in the enclosing scope.

Added in version 3.12: Annotation scopes were introduced in Python 3.12 as part of PEP 695.

Змінено в версії 3.13: Annotation scopes are also used for type parameter defaults, as introduced by PEP 696.

Змінено в версії 3.14: Annotation scopes are now also used for annotations, as specified in PEP 649 and PEP 749.

4.2.4. Lazy evaluation

Most annotation scopes are lazily evaluated. This includes annotations, the values of type aliases created through the type statement, and the bounds, constraints, and default values of type variables created through the type parameter syntax. This means that they are not evaluated when the type alias or type variable is created, or when the object carrying annotations is created. Instead, they are only evaluated when necessary, for example when the __value__ attribute on a type alias is accessed.

приклад:

>>> type Alias = 1/0
>>> Alias.__value__
Traceback (most recent call last):
  ...
ZeroDivisionError: division by zero
>>> def func[T: 1/0](): pass
>>> T = func.__type_params__[0]
>>> T.__bound__
Traceback (most recent call last):
  ...
ZeroDivisionError: division by zero

Here the exception is raised only when the __value__ attribute of the type alias or the __bound__ attribute of the type variable is accessed.

This behavior is primarily useful for references to types that have not yet been defined when the type alias or type variable is created. For example, lazy evaluation enables creation of mutually recursive type aliases:

from typing import Literal

type SimpleExpr = int | Parenthesized
type Parenthesized = tuple[Literal["("], Expr, Literal[")"]]
type Expr = SimpleExpr | tuple[SimpleExpr, Literal["+", "-"], Expr]

Lazily evaluated values are evaluated in annotation scope, which means that names that appear inside the lazily evaluated value are looked up as if they were used in the immediately enclosing scope.

Added in version 3.12.

4.2.5. Вбудоване та обмежене виконання

Користувачі не повинні торкатися __builtins__; це суто деталь реалізації. Користувачі, які хочуть змінити значення у просторі імен вбудованих модулів, повинні import модуль builtins і відповідним чином змінити його атрибути.

Простір вбудованих імен, пов’язаний із виконанням блоку коду, фактично можна знайти шляхом пошуку назви __builtins__ у його глобальному просторі імен; це має бути словник або модуль (в останньому випадку використовується словник модуля). За замовчуванням у модулі __main__ __builtins__ є вбудованим модулем builtins; у будь-якому іншому модулі __builtins__ є псевдонімом для словника самого модуля builtins.

4.2.6. Взаємодія з динамічними функціями

Розділення імен вільних змінних відбувається під час виконання, а не під час компіляції. Це означає, що наступний код виведе 42:

i = 10
def f():
    print(i)
i = 42
f()

Функції eval() і exec() не мають доступу до повного середовища для розпізнавання імен. Імена можуть бути дозволені в локальному та глобальному просторах імен абонента. Вільні змінні вирішуються не в найближчому охоплюючому просторі імен, а в глобальному просторі імен. [1] Функції exec() і eval() мають додаткові аргументи для заміни глобального та локального простору імен. Якщо вказано лише один простір імен, він використовується для обох.

4.3. Винятки

Винятки — це засіб виходу зі звичайного потоку керування блоком коду для обробки помилок або інших виняткових умов. Виняток викликається в точці, де виявлено помилку; вона може оброблятися навколишнім блоком коду або будь-яким блоком коду, який прямо чи опосередковано викликав блок коду, де сталася помилка.

Інтерпретатор Python викликає виняток, коли виявляє помилку під час виконання (наприклад, ділення на нуль). Програма на Python також може явно викликати виняток за допомогою оператора raise. Обробники винятків визначаються оператором try … except. Речення finally такого оператора можна використовувати для визначення коду очищення, який не обробляє виняток, але виконується незалежно від того, чи виникла виняток у попередньому коді.

Python використовує модель «припинення» обробки помилок: обробник винятків може дізнатися, що сталося, і продовжити виконання на зовнішньому рівні, але він не може виправити причину помилки та повторити невдалу операцію (за винятком повторного введення несправної частини коду зверху).

Якщо виняток взагалі не обробляється, інтерпретатор припиняє виконання програми або повертається до основного інтерактивного циклу. У будь-якому випадку він друкує зворотне трасування стека, за винятком випадків, коли винятком є SystemExit.

Винятки визначаються екземплярами класу. Речення except вибирається залежно від класу примірника: воно має посилатися на клас примірника або його невіртуальний базовий клас. Примірник може бути отриманий обробником і може містити додаткову інформацію про винятковий стан.

Примітка

Повідомлення про винятки не є частиною API Python. Їх вміст може змінюватися від однієї версії Python до іншої без попередження, і на нього не слід покладатися кодом, який працюватиме під кількома версіями інтерпретатора.

Дивіться також опис оператора try у розділі Оператор try та оператора raise у розділі Оператор raise.

4.4. Runtime Components

4.4.1. General Computing Model

Python’s execution model does not operate in a vacuum. It runs on a host machine and through that host’s runtime environment, including its operating system (OS), if there is one. When a program runs, the conceptual layers of how it runs on the host look something like this:

host machine
process (global resources)
thread (runs machine code)

Each process represents a program running on the host. Think of each process itself as the data part of its program. Think of the process“ threads as the execution part of the program. This distinction will be important to understand the conceptual Python runtime.

The process, as the data part, is the execution context in which the program runs. It mostly consists of the set of resources assigned to the program by the host, including memory, signals, file handles, sockets, and environment variables.

Processes are isolated and independent from one another. (The same is true for hosts.) The host manages the process“ access to its assigned resources, in addition to coordinating between processes.

Each thread represents the actual execution of the program’s machine code, running relative to the resources assigned to the program’s process. It’s strictly up to the host how and when that execution takes place.

From the point of view of Python, a program always starts with exactly one thread. However, the program may grow to run in multiple simultaneous threads. Not all hosts support multiple threads per process, but most do. Unlike processes, threads in a process are not isolated and independent from one another. Specifically, all threads in a process share all of the process“ resources.

The fundamental point of threads is that each one does run independently, at the same time as the others. That may be only conceptually at the same time («concurrently») or physically («in parallel»). Either way, the threads effectively run at a non-synchronized rate.

Примітка

That non-synchronized rate means none of the process“ memory is guaranteed to stay consistent for the code running in any given thread. Thus multi-threaded programs must take care to coordinate access to intentionally shared resources. Likewise, they must take care to be absolutely diligent about not accessing any other resources in multiple threads; otherwise two threads running at the same time might accidentally interfere with each other’s use of some shared data. All this is true for both Python programs and the Python runtime.

The cost of this broad, unstructured requirement is the tradeoff for the kind of raw concurrency that threads provide. The alternative to the required discipline generally means dealing with non-deterministic bugs and data corruption.

4.4.2. Python Runtime Model

The same conceptual layers apply to each Python program, with some extra data layers specific to Python:

host machine
process (global resources)
Python global runtime (state)
Python interpreter (state)
thread (runs Python bytecode and «C-API»)
Python thread state

At the conceptual level: when a Python program starts, it looks exactly like that diagram, with one of each. The runtime may grow to include multiple interpreters, and each interpreter may grow to include multiple thread states.

Примітка

A Python implementation won’t necessarily implement the runtime layers distinctly or even concretely. The only exception is places where distinct layers are directly specified or exposed to users, like through the threading module.

Примітка

The initial interpreter is typically called the «main» interpreter. Some Python implementations, like CPython, assign special roles to the main interpreter.

Likewise, the host thread where the runtime was initialized is known as the «main» thread. It may be different from the process“ initial thread, though they are often the same. In some cases «main thread» may be even more specific and refer to the initial thread state. A Python runtime might assign specific responsibilities to the main thread, such as handling signals.

As a whole, the Python runtime consists of the global runtime state, interpreters, and thread states. The runtime ensures all that state stays consistent over its lifetime, particularly when used with multiple host threads.

The global runtime, at the conceptual level, is just a set of interpreters. While those interpreters are otherwise isolated and independent from one another, they may share some data or other resources. The runtime is responsible for managing these global resources safely. The actual nature and management of these resources is implementation-specific. Ultimately, the external utility of the global runtime is limited to managing interpreters.

In contrast, an «interpreter» is conceptually what we would normally think of as the (full-featured) «Python runtime». When machine code executing in a host thread interacts with the Python runtime, it calls into Python in the context of a specific interpreter.

Примітка

The term «interpreter» here is not the same as the «bytecode interpreter», which is what regularly runs in threads, executing compiled Python code.

In an ideal world, «Python runtime» would refer to what we currently call «interpreter». However, it’s been called «interpreter» at least since introduced in 1997 (CPython:a027efa5b).

Each interpreter completely encapsulates all of the non-process-global, non-thread-specific state needed for the Python runtime to work. Notably, the interpreter’s state persists between uses. It includes fundamental data like sys.modules. The runtime ensures multiple threads using the same interpreter will safely share it between them.

A Python implementation may support using multiple interpreters at the same time in the same process. They are independent and isolated from one another. For example, each interpreter has its own sys.modules.

For thread-specific runtime state, each interpreter has a set of thread states, which it manages, in the same way the global runtime contains a set of interpreters. It can have thread states for as many host threads as it needs. It may even have multiple thread states for the same host thread, though that isn’t as common.

Each thread state, conceptually, has all the thread-specific runtime data an interpreter needs to operate in one host thread. The thread state includes the current raised exception and the thread’s Python call stack. It may include other thread-specific resources.

Примітка

The term «Python thread» can sometimes refer to a thread state, but normally it means a thread created using the threading module.

Each thread state, over its lifetime, is always tied to exactly one interpreter and exactly one host thread. It will only ever be used in that thread and with that interpreter.

Multiple thread states may be tied to the same host thread, whether for different interpreters or even the same interpreter. However, for any given host thread, only one of the thread states tied to it can be used by the thread at a time.

Thread states are isolated and independent from one another and don’t share any data, except for possibly sharing an interpreter and objects or other resources belonging to that interpreter.

Once a program is running, new Python threads can be created using the threading module (on platforms and Python implementations that support threads). Additional processes can be created using the os, subprocess, and multiprocessing modules. Interpreters can be created and used with the interpreters module. Coroutines (async) can be run using asyncio in each interpreter, typically only in a single thread (often the main thread).

Виноски