Співпрограми та завдання

У цьому розділі описано асинхронні API високого рівня для роботи з співпрограмами та завданнями.

Співпрограми

Coroutines, оголошений із синтаксисом async/await, є кращим способом написання асинхронних програм. Наприклад, наступний фрагмент коду друкує «hello», чекає 1 секунду, а потім друкує «world»:

>>> import asyncio

>>> async def main():
...     print('hello')
...     await asyncio.sleep(1)
...     print('world')

>>> asyncio.run(main())
hello
world

Зауважте, що простий виклик співпрограми не запланує її виконання:

>>> main()
<coroutine object main at 0x1053bb7c8>

To actually run a coroutine, asyncio provides three main mechanisms:

• Функція asyncio.run() для запуску функції точки входу верхнього рівня «main()» (див. приклад вище).

• Очікування співпрограми. Наступний фрагмент коду надрукує «привіт» після очікування 1 секунду, а потім надрукує «світ» після очікування ще 2 секунди:

  import asyncio
  import time
  
  async def say_after(delay, what):
      await asyncio.sleep(delay)
      print(what)
  
  async def main():
      print(f"started at {time.strftime('%X')}")
  
      await say_after(1, 'hello')
      await say_after(2, 'world')
  
      print(f"finished at {time.strftime('%X')}")
  
  asyncio.run(main())
  

  Очікуваний результат:

  started at 17:13:52
  hello
  world
  finished at 17:13:55
  

• Функція asyncio.create_task() для одночасного запуску співпрограм як asyncio Tasks.

  Давайте змінимо наведений вище приклад і запустимо дві співпрограми say_after одночасно:

  async def main():
      task1 = asyncio.create_task(
          say_after(1, 'hello'))
  
      task2 = asyncio.create_task(
          say_after(2, 'world'))
  
      print(f"started at {time.strftime('%X')}")
  
      # Wait until both tasks are completed (should take
      # around 2 seconds.)
      await task1
      await task2
  
      print(f"finished at {time.strftime('%X')}")
  

  Зауважте, що очікуваний вихід тепер показує, що фрагмент працює на 1 секунду швидше, ніж раніше:

  started at 17:14:32
  hello
  world
  finished at 17:14:34
  

очікування

Ми кажемо, що об’єкт є очікуваним об’єктом, якщо його можна використовувати у виразі await. Багато асинхронних API розроблено для прийняття очікуваних.

Існує три основних типи очікуваних об’єктів: співпрограми, Завдання та Ф’ючерси.

Співпрограми

Співпрограми Python є очікуваними, тому їх можна очікувати від інших співпрограм:

import asyncio

async def nested():
    return 42

async def main():
    # Nothing happens if we just call "nested()".
    # A coroutine object is created but not awaited,
    # so it *won't run at all*.
    nested()

    # Let's do it differently now and await it:
    print(await nested())  # will print "42".

asyncio.run(main())

Важливо

У цій документації термін «співпрограма» може використовуватися для двох тісно пов’язаних понять:

• співпрограма: функція async def;

• об’єкт співпрограми: об’єкт, повернутий викликом функції співпрограми.

asyncio also supports legacy generator-based coroutines.

завдання

Завдання використовуються для одночасного планування співпрограм.

Коли співпрограму загорнуто в Task із такими функціями, як asyncio.create_task(), співпрограма автоматично планується для незабаром:

import asyncio

async def nested():
    return 42

async def main():
    # Schedule nested() to run soon concurrently
    # with "main()".
    task = asyncio.create_task(nested())

    # "task" can now be used to cancel "nested()", or
    # can simply be awaited to wait until it is complete:
    await task

asyncio.run(main())

Ф’ючерси

Future — це спеціальний низькорівневий очікуваний об’єкт, який представляє кінцевий результат асинхронної операції.

Коли об’єкт Future очікується, це означає, що співпрограма чекатиме, поки Future не буде дозволено в іншому місці.

Майбутні об’єкти в asyncio потрібні для того, щоб код на основі зворотного виклику використовувався з async/await.

Зазвичай немає необхідності створювати об’єкти Future на рівні програми.

Майбутні об’єкти, іноді доступні бібліотеками та деякими асинхронними API, можна очікувати:

async def main():
    await function_that_returns_a_future_object()

    # this is also valid:
    await asyncio.gather(
        function_that_returns_a_future_object(),
        some_python_coroutine()
    )

Хорошим прикладом функції низького рівня, яка повертає об’єкт Future, є loop.run_in_executor().

Running an asyncio Program

asyncio.run(coro, *, debug=False)

Execute the coroutine coro and return the result.

This function runs the passed coroutine, taking care of managing the asyncio event loop, finalizing asynchronous generators, and closing the threadpool.

This function cannot be called when another asyncio event loop is running in the same thread.

If debug is True, the event loop will be run in debug mode.

This function always creates a new event loop and closes it at the end. It should be used as a main entry point for asyncio programs, and should ideally only be called once.

Приклад:

async def main():
    await asyncio.sleep(1)
    print('hello')

asyncio.run(main())

Нове в версії 3.7.

Змінено в версії 3.9: Updated to use loop.shutdown_default_executor().

Примітка

The source code for asyncio.run() can be found in Lib/asyncio/runners.py.

Створення завдань

asyncio.create_task(coro, *, name=None)

Загорніть coro coroutine в Task і заплануйте його виконання. Повернути об’єкт Task.

Якщо name не є None, воно встановлюється як назва завдання за допомогою Task.set_name().

Завдання виконується в циклі, який повертає get_running_loop(), RuntimeError виникає, якщо в поточному потоці немає запущеного циклу.

Важливо

Save a reference to the result of this function, to avoid a task disappearing mid execution.

Нове в версії 3.7.

Змінено в версії 3.8: Added the name parameter.

спить

coroutine asyncio.sleep(delay, result=None, *, loop=None)

Блокувати на затримку секунд.

Якщо надано результат, він повертається абоненту після завершення співпрограми.

sleep() завжди призупиняє поточне завдання, дозволяючи виконувати інші завдання.

Встановлення затримки на 0 забезпечує оптимізований шлях для виконання інших завдань. Це може бути використано функціями, які довго виконуються, щоб уникнути блокування циклу подій протягом повної тривалості виклику функції.

Deprecated since version 3.8, will be removed in version 3.10: The loop parameter.

Приклад співпрограми, що відображає поточну дату кожну секунду протягом 5 секунд:

import asyncio
import datetime

async def display_date():
    loop = asyncio.get_running_loop()
    end_time = loop.time() + 5.0
    while True:
        print(datetime.datetime.now())
        if (loop.time() + 1.0) >= end_time:
            break
        await asyncio.sleep(1)

asyncio.run(display_date())

Одночасне виконання завдань

awaitable asyncio.gather(*aws, loop=None, return_exceptions=False)

Запустіть waitable objects у послідовності aws одночасно.

Якщо будь-який awaitable у aws є співпрограмою, він автоматично запланований як завдання.

Якщо всі очікування виконано успішно, результатом буде зведений список повернутих значень. Порядок значень результатів відповідає порядку очікуваних значень у aws.

Якщо return_exceptions має значення False (за замовчуванням), перший викликаний виняток негайно поширюється на завдання, яке очікує на gather(). Інші очікування в послідовності aws не будуть скасовані і продовжуватимуть працювати.

Якщо return_exceptions має значення True, винятки обробляються так само, як успішні результати, і агрегуються в списку результатів.

Якщо gather() скасовано, усі надіслані очікування (які ще не завершені) також скасуються.

Якщо будь-яке завдання або майбутнє з послідовності aws скасовано, воно розглядається як викликане CancelledError – у цьому випадку виклик gather() не скасовується . Це робиться для того, щоб запобігти скасуванню одного поданого Завдання/Майбутнього, що спричинить скасування інших Завдань/Ф’ючерсів.

Deprecated since version 3.8, will be removed in version 3.10: The loop parameter.

Приклад:

import asyncio

async def factorial(name, number):
    f = 1
    for i in range(2, number + 1):
        print(f"Task {name}: Compute factorial({number}), currently i={i}...")
        await asyncio.sleep(1)
        f *= i
    print(f"Task {name}: factorial({number}) = {f}")
    return f

async def main():
    # Schedule three calls *concurrently*:
    L = await asyncio.gather(
        factorial("A", 2),
        factorial("B", 3),
        factorial("C", 4),
    )
    print(L)

asyncio.run(main())

# Expected output:
#
#     Task A: Compute factorial(2), currently i=2...
#     Task B: Compute factorial(3), currently i=2...
#     Task C: Compute factorial(4), currently i=2...
#     Task A: factorial(2) = 2
#     Task B: Compute factorial(3), currently i=3...
#     Task C: Compute factorial(4), currently i=3...
#     Task B: factorial(3) = 6
#     Task C: Compute factorial(4), currently i=4...
#     Task C: factorial(4) = 24
#     [2, 6, 24]

Примітка

If return_exceptions is False, cancelling gather() after it has been marked done won’t cancel any submitted awaitables. For instance, gather can be marked done after propagating an exception to the caller, therefore, calling gather.cancel() after catching an exception (raised by one of the awaitables) from gather won’t cancel any other awaitables.

Змінено в версії 3.7: Якщо сам gather скасовано, скасування поширюється незалежно від return_exceptions.

Захист від скасування

awaitable asyncio.shield(aw, *, loop=None)

Захист очікуваного об’єкта від скасування.

Якщо aw є співпрограмою, вона автоматично запланована як завдання.

Заява:

res = await shield(something())

еквівалентно:

res = await something()

за винятком того, що якщо співпрограму, яка містить його, скасовується, Завдання, що виконується в something(), не скасовується. З точки зору something(), скасування не відбулося. Хоча його виклик все ще скасовано, тому вираз «чекати» все ще викликає CancelledError.

Якщо something() скасовано іншими засобами (тобто зсередини), це також скасує shield().

Якщо потрібно повністю ігнорувати скасування (не рекомендовано), функцію shield() слід поєднати з реченням try/except, як показано нижче:

try:
    res = await shield(something())
except CancelledError:
    res = None

Deprecated since version 3.8, will be removed in version 3.10: The loop parameter.

Тайм-аути

coroutine asyncio.wait_for(aw, timeout, *, loop=None)

Зачекайте, поки aw awaitable завершиться з тайм-аутом.

Якщо aw є співпрограмою, вона автоматично запланована як завдання.

timeout може бути або None, або числом секунд для очікування з плаваючою точкою або int. Якщо timeout має значення None, блокуйте до завершення майбутнього.

If a timeout occurs, it cancels the task and raises asyncio.TimeoutError.

Щоб уникнути завдання скасування, загорніть його в shield().

Функція чекатиме, доки майбутнє фактично не буде скасовано, тому загальний час очікування може перевищити тайм-аут. Якщо під час скасування виникає виняток, він поширюється.

Якщо очікування скасовується, майбутнє aw також скасовується.

Deprecated since version 3.8, will be removed in version 3.10: The loop parameter.

Приклад:

async def eternity():
    # Sleep for one hour
    await asyncio.sleep(3600)
    print('yay!')

async def main():
    # Wait for at most 1 second
    try:
        await asyncio.wait_for(eternity(), timeout=1.0)
    except asyncio.TimeoutError:
        print('timeout!')

asyncio.run(main())

# Expected output:
#
#     timeout!

Змінено в версії 3.7: When aw is cancelled due to a timeout, wait_for waits for aw to be cancelled. Previously, it raised asyncio.TimeoutError immediately.

Очікування примітивів

coroutine asyncio.wait(aws, *, loop=None, timeout=None, return_when=ALL_COMPLETED)

Run awaitable objects in the aws iterable concurrently and block until the condition specified by return_when.

Ітерація aws не має бути порожньою.

Повертає два набори Tasks/Futures: (done, pending).

Використання:

done, pending = await asyncio.wait(aws)

timeout (float або int), якщо вказано, можна використовувати для керування максимальною кількістю секунд очікування перед поверненням.

Note that this function does not raise asyncio.TimeoutError. Futures or Tasks that aren’t done when the timeout occurs are simply returned in the second set.

return_when вказує, коли ця функція має повернутися. Це має бути одна з таких констант:

Постійний	опис
FIRST_COMPLETED	Функція повернеться, коли будь-який майбутній завершиться або буде скасовано.
FIRST_EXCEPTION	The function will return when any future finishes by raising an exception. If no future raises an exception then it is equivalent to ALL_COMPLETED.
ALL_COMPLETED	Функція повернеться, коли всі ф’ючерси закінчаться або будуть скасовані.

На відміну від wait_for(), wait() не скасовує ф’ючерси, коли настає тайм-аут.

Застаріло починаючи з версії 3.8: If any awaitable in aws is a coroutine, it is automatically scheduled as a Task. Passing coroutines objects to wait() directly is deprecated as it leads to confusing behavior.

Deprecated since version 3.8, will be removed in version 3.10: The loop parameter.

Примітка

wait() schedules coroutines as Tasks automatically and later returns those implicitly created Task objects in (done, pending) sets. Therefore the following code won’t work as expected:

async def foo():
    return 42

coro = foo()
done, pending = await asyncio.wait({coro})

if coro in done:
    # This branch will never be run!

Here is how the above snippet can be fixed:

async def foo():
    return 42

task = asyncio.create_task(foo())
done, pending = await asyncio.wait({task})

if task in done:
    # Everything will work as expected now.

Deprecated since version 3.8, will be removed in version 3.11: Passing coroutine objects to wait() directly is deprecated.

asyncio.as_completed(aws, *, loop=None, timeout=None)

Run awaitable objects in the aws iterable concurrently. Return an iterator of coroutines. Each coroutine returned can be awaited to get the earliest next result from the iterable of the remaining awaitables.

Raises asyncio.TimeoutError if the timeout occurs before all Futures are done.

Deprecated since version 3.8, will be removed in version 3.10: The loop parameter.

Приклад:

for coro in as_completed(aws):
    earliest_result = await coro
    # ...

Запуск у потоках

coroutine asyncio.to_thread(func, /, *args, **kwargs)

Асинхронний запуск функції func в окремому потоці.

Будь-які *args і **kwargs, надані для цієї функції, безпосередньо передаються до func. Крім того, поточний contextvars.Context поширюється, дозволяючи доступ до змінних контексту з потоку циклу подій в окремому потоці.

Повертає співпрограму, яку можна очікувати, щоб отримати кінцевий результат func.

This coroutine function is primarily intended to be used for executing IO-bound functions/methods that would otherwise block the event loop if they were ran in the main thread. For example:

def blocking_io():
    print(f"start blocking_io at {time.strftime('%X')}")
    # Note that time.sleep() can be replaced with any blocking
    # IO-bound operation, such as file operations.
    time.sleep(1)
    print(f"blocking_io complete at {time.strftime('%X')}")

async def main():
    print(f"started main at {time.strftime('%X')}")

    await asyncio.gather(
        asyncio.to_thread(blocking_io),
        asyncio.sleep(1))

    print(f"finished main at {time.strftime('%X')}")


asyncio.run(main())

# Expected output:
#
# started main at 19:50:53
# start blocking_io at 19:50:53
# blocking_io complete at 19:50:54
# finished main at 19:50:54

Directly calling blocking_io() in any coroutine would block the event loop for its duration, resulting in an additional 1 second of run time. Instead, by using asyncio.to_thread(), we can run it in a separate thread without blocking the event loop.

Примітка

Due to the GIL, asyncio.to_thread() can typically only be used to make IO-bound functions non-blocking. However, for extension modules that release the GIL or alternative Python implementations that don’t have one, asyncio.to_thread() can also be used for CPU-bound functions.

Нове в версії 3.9.

Планування з інших потоків

asyncio.run_coroutine_threadsafe(coro, loop)

Надішліть співпрограму в заданий цикл подій. Ниткобезпечний.

Поверніть concurrent.futures.Future, щоб дочекатися результату від іншого потоку ОС.

Цю функцію призначено для виклику з потоку ОС, відмінного від того, у якому виконується цикл подій. Приклад:

# Create a coroutine
coro = asyncio.sleep(1, result=3)

# Submit the coroutine to a given loop
future = asyncio.run_coroutine_threadsafe(coro, loop)

# Wait for the result with an optional timeout argument
assert future.result(timeout) == 3

Якщо в співпрограмі виникає виняток, буде повідомлено про повернутий Future. Його також можна використовувати для скасування завдання в циклі подій:

try:
    result = future.result(timeout)
except asyncio.TimeoutError:
    print('The coroutine took too long, cancelling the task...')
    future.cancel()
except Exception as exc:
    print(f'The coroutine raised an exception: {exc!r}')
else:
    print(f'The coroutine returned: {result!r}')

Перегляньте розділ паралелізм і багатопотоковість документації.

На відміну від інших асинхронних функцій, ця функція вимагає явної передачі аргументу loop.

Нове в версії 3.5.1.

самоаналіз

asyncio.current_task(loop=None)

Повертає поточний екземпляр Task або None, якщо жодне завдання не виконується.

Якщо loop має значення None get_running_loop() використовується для отримання поточного циклу.

Нове в версії 3.7.

asyncio.all_tasks(loop=None)

Повертає набір ще не завершених об’єктів Task, які виконуються циклом.

Якщо loop має значення None, get_running_loop() використовується для отримання поточного циклу.

Нове в версії 3.7.

Об’єкт завдання

class asyncio.Task(coro, *, loop=None, name=None)

Об’єкт подібний до майбутнього, який запускає сопрограму Python. Небезпечно для потоків.

Завдання використовуються для виконання співпрограм у циклах подій. Якщо співпрограма очікує на Future, Завдання призупиняє виконання співпрограми та чекає завершення Future. Коли Future done, виконання загорнутої співпрограми відновлюється.

Цикли подій використовують кооперативне планування: цикл подій виконує одне завдання за раз. Поки Завдання очікує завершення Майбутнього, цикл подій запускає інші Завдання, зворотні виклики або виконує операції введення-виведення.

Використовуйте функцію високого рівня asyncio.create_task() для створення завдань або функції низького рівня loop.create_task() або ensure_future(). Не рекомендується створювати завдання вручну.

Щоб скасувати запущене завдання, використовуйте метод cancel(). Його виклик призведе до того, що завдання створить виняток CancelledError у загорнутій співпрограмі. Якщо співпрограма очікує на об’єкті Future під час скасування, об’єкт Future буде скасовано.

cancelled() можна використовувати, щоб перевірити, чи було скасовано завдання. Метод повертає True, якщо загорнута співпрограма не придушила виняток CancelledError і була фактично скасована.

asyncio.Task успадковує від Future усі його API, крім Future.set_result() і Future.set_exception().

Tasks support the contextvars module. When a Task is created it copies the current context and later runs its coroutine in the copied context.

Змінено в версії 3.7: Додано підтримку модуля contextvars.

Змінено в версії 3.8: Added the name parameter.

Deprecated since version 3.8, will be removed in version 3.10: The loop parameter.

cancel(msg=None)

Вимагайте скасування Завдання.

Це організовує виняток CancelledError, який буде створено в загорнутій співпрограмі в наступному циклі циклу подій.

The coroutine then has a chance to clean up or even deny the request by suppressing the exception with a try … … except CancelledError … finally block. Therefore, unlike Future.cancel(), Task.cancel() does not guarantee that the Task will be cancelled, although suppressing cancellation completely is not common and is actively discouraged.

Змінено в версії 3.9: Added the msg parameter.

Наступний приклад ілюструє, як співпрограми можуть перехопити запит на скасування:

async def cancel_me():
    print('cancel_me(): before sleep')

    try:
        # Wait for 1 hour
        await asyncio.sleep(3600)
    except asyncio.CancelledError:
        print('cancel_me(): cancel sleep')
        raise
    finally:
        print('cancel_me(): after sleep')

async def main():
    # Create a "cancel_me" Task
    task = asyncio.create_task(cancel_me())

    # Wait for 1 second
    await asyncio.sleep(1)

    task.cancel()
    try:
        await task
    except asyncio.CancelledError:
        print("main(): cancel_me is cancelled now")

asyncio.run(main())

# Expected output:
#
#     cancel_me(): before sleep
#     cancel_me(): cancel sleep
#     cancel_me(): after sleep
#     main(): cancel_me is cancelled now

cancelled()

Повертає True, якщо завдання скасовано.

Завдання скасовується, коли запит на скасування надійшов за допомогою cancel(), а загорнута співпрограма поширила виняткову ситуацію CancelledError, яка виникла в ній.

done()

Повертає True, якщо завдання виконано.

Завдання вважається виконаним, коли загорнута співпрограма або повернула значення, викликала виняток, або завдання було скасовано.

result()

Повернути результат Завдання.

Якщо завдання виконано, повертається результат загорнутої співпрограми (або якщо співпрограма викликала виняток, цей виняток викликається повторно).

Якщо завдання було скасовано, цей метод викликає виняток CancelledError.

If the Task’s result isn’t yet available, this method raises a InvalidStateError exception.

exception()

Повернути виняток Завдання.

Якщо загорнута співпрограма викликала виняток, цей виняток повертається. Якщо загорнута співпрограма повертає нормальний результат, цей метод повертає None.

Якщо завдання було скасовано, цей метод викликає виняток CancelledError.

Якщо завдання ще не виконано, цей метод викликає виняток InvalidStateError.

add_done_callback(callback, *, context=None)

Додайте зворотний виклик, який буде запущено, коли Завдання виконано.

Цей метод слід використовувати лише в низькорівневому коді на основі зворотного виклику.

Перегляньте документацію Future.add_done_callback() для отримання додаткової інформації.

remove_done_callback(callback)

Видалити callback зі списку зворотних викликів.

Цей метод слід використовувати лише в низькорівневому коді на основі зворотного виклику.

Перегляньте документацію Future.remove_done_callback() для отримання додаткової інформації.

get_stack(*, limit=None)

Повернути список фреймів стека для цього завдання.

Якщо загорнуту співпрограму не виконано, це повертає стек, де він був призупинений. Якщо співпрограма завершилася успішно або була скасована, повертається порожній список. Якщо співпрограму було припинено через виняток, повертається список кадрів трасування.

Рамки завжди впорядковуються від найстаріших до найновіших.

Для призупиненої співпрограми повертається лише один кадр стека.

Необов’язковий аргумент limit встановлює максимальну кількість кадрів для повернення; за замовчуванням повертаються всі доступні кадри. Порядок поверненого списку відрізняється залежно від того, повертається стек чи трасування: повертаються найновіші кадри стеку, але повертаються найстаріші кадри трасування. (Це відповідає поведінці модуля відстеження.)

print_stack(*, limit=None, file=None)

Роздрукуйте стек або відстеження для цього завдання.

Це створює вихідні дані, подібні до результатів модуля трасування для кадрів, отриманих get_stack().

Аргумент limit передається безпосередньо в get_stack().

The file argument is an I/O stream to which the output is written; by default output is written to sys.stderr.

get_coro()

Повертає об’єкт співпрограми, обгорнутий Task.

Нове в версії 3.8.

get_name()

Повернути назву завдання.

Якщо Завданню не було явно призначено ім’я, реалізація асинхронного Завдання за замовчуванням генерує ім’я за замовчуванням під час створення екземпляра.

Нове в версії 3.8.

set_name(value)

Встановіть назву завдання.

Аргументом value може бути будь-який об’єкт, який потім перетворюється на рядок.

У реалізації Task за замовчуванням ім’я буде видно у виводі repr() об’єкта task.

Нове в версії 3.8.

Generator-based Coroutines

Примітка

Support for generator-based coroutines is deprecated and is removed in Python 3.11.

Generator-based coroutines predate async/await syntax. They are Python generators that use yield from expressions to await on Futures and other coroutines.

Generator-based coroutines should be decorated with @asyncio.coroutine, although this is not enforced.

@asyncio.coroutine

Decorator to mark generator-based coroutines.

This decorator enables legacy generator-based coroutines to be compatible with async/await code:

@asyncio.coroutine
def old_style_coroutine():
    yield from asyncio.sleep(1)

async def main():
    await old_style_coroutine()

This decorator should not be used for async def coroutines.

Deprecated since version 3.8, will be removed in version 3.11: Use async def instead.

asyncio.iscoroutine(obj)

Return True if obj is a coroutine object.

This method is different from inspect.iscoroutine() because it returns True for generator-based coroutines.

asyncio.iscoroutinefunction(func)

Return True if func is a coroutine function.

This method is different from inspect.iscoroutinefunction() because it returns True for generator-based coroutine functions decorated with @coroutine.